AWS Machine Learning Blog· Siddharth Senger·· 10 天前精选AI 评分64
在 Amazon SageMaker HyperPod 上检测并恢复分布式训练中的静默数据损坏
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
AWS SageMaker HyperPod 团队在 PyTorch DDP 训练循环中加入三项检查来捕捉静默数据损坏(SDC):非有限梯度检查、环形重放审计和权重指纹比对,报警后把嫌疑 rank 映射到节点并由 HyperPod 替换。
推荐理由
原文给出了一套可直接落地到 PyTorch DDP 训练循环的 SDC 检测与节点替换流程,并附上注入故障的实测开销和误报数据。
来源:AWS Machine Learning Blog · aws.amazon.com