博客园· 罗西的思考·· 3 天前AI 评分38
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 KIMI K3 训练系统
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 KIMI K3 训练系统 - 罗西的思考
AI 导读
该博客深入解析 Muon 优化器原理,并完成 KIMI K3 训练系统的轻量化全 CPU 复刻。Muon 通过 Newton-Schulz 迭代对梯度动量矩阵做整体正交化,使更新在所有奇异方向上等幅,克服了 AdamW 逐元素缩放破坏矩阵几何结构的缺陷。项目还实现 Per-Head 正交化、QK-Clip 与混合优化器等组件,并附带无需 GPU 的可运行 Gradio demo。
来源:博客园 · cnblogs.com