跳到正文
博客园· 大雾的小屋·· 11 天前AI 评分66

loss 变 NaN 如何用 forward hook 逐层定位:AI工程师踩坑实录第 4 篇

手把手教你:loss 变 NaN 用 hook 逐层定位|AI工程师踩坑实录·第4篇 - 大雾的小屋

AI 导读

作者在 GTX 1660 Ti 笔记本上真实复现两个 NaN 崩溃案例,演示用 forward hook 逐层记录输出范围,定位哪一步哪一层先溢出。第一个案例用 SGD lr=100 跑三层 MLP,第 4 步 loss 变 inf、第 5 步变 NaN,hook 显示 layer0 输出首次出现 inf;第二个案例是手写交叉熵里 log(0) 导致一步即崩。

来源:博客园 · cnblogs.com