跳到正文
博客园· 罗西的思考·· 10 小时前AI 评分46

Kimi K3 轻量化复刻:训练模块梳理与 Muon P2P 优化器

【轻量化复刻大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器 - 罗西的思考

AI 导读

Kimi K3 轻量化复刻项目将训练的模型、优化器、课程、数据与 Checkpoint 打包进 Trainer 类,训练配方与 K3 论文对齐。优化采用 Per-Head Muon 与无辅助损失的 Quantile Balancing,以 8K→64K→256K→1M 四阶段课程扩展长上下文。项目还实现 Muon P2P 优化器,全 CPU 运行并提供无需 GPU 的 Gradio demo。

来源:博客园 · cnblogs.com