博客园· 大雾的小屋·· 3 天前AI 评分54
手把手教你:开了混合精度就 NaN,GradScaler 到底在做什么|AI工程师踩坑实录·第11篇
手把手教你:开了混合精度就 NaN,GradScaler 到底在做什么|AI工程师踩坑实录·第11篇 - 大雾的小屋
AI 导读
作者在本机 GTX 1660 Ti 上用真实数值实验拆解 PyTorch AMP 中 GradScaler 的作用:fp16 可表示范围仅 6.1e-5 至 65504,梯度上溢变 inf 会显式报 NaN,下溢则静默置零导致模型装死。
来源:博客园 · cnblogs.com