跳到正文
AWS Machine Learning Blog· Siddharth Senger·· 10 天前精选AI 评分64

在 Amazon SageMaker HyperPod 上检测并恢复分布式训练中的静默数据损坏

Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod

AI 导读

AWS SageMaker HyperPod 团队在 PyTorch DDP 训练循环中加入三项检查来捕捉静默数据损坏(SDC):非有限梯度检查、环形重放审计和权重指纹比对,报警后把嫌疑 rank 映射到节点并由 HyperPod 替换。

推荐理由

原文给出了一套可直接落地到 PyTorch DDP 训练循环的 SDC 检测与节点替换流程,并附上注入故障的实测开销和误报数据。

来源:AWS Machine Learning Blog · aws.amazon.com