跳到正文
博客园· 大雾的小屋·· 2 天前AI 评分60

手把手教你:loss 不降反升,先别怀疑模型结构|AI工程师踩坑实录·第12篇

手把手教你:loss 不降反升,先别怀疑模型结构|AI工程师踩坑实录·第12篇 - 大雾的小屋

AI 导读

作者用四组只改单一变量的对照实验证明,loss 上升的最常见根因是学习率过大和数据问题,模型结构排最后。学习率过大表现为前几十步即震荡上升;30% 标签翻转与特征乘 300 不缩放,都会造成训练 loss 降、验证 loss 升的剪刀差。

来源:博客园 · cnblogs.com