摩尔线程开源 Megatron-MUSA-Titan，聚焦万卡级集群的万亿参数 MoE 模型训练

摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan，面向万卡级集群的万亿参数 MoE 模型训练需求，覆盖预训练与强化学习两大场景。该项目已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中持续应用，实现高 MFU 与长稳训练，支持与 slime、miles 强化学习框架协同。