【轻量化复刻大模型 / KIMI K3】Muon 优化器及 KIMI K3 训练系统
该博客深入解析 Muon 优化器原理,并完成 KIMI K3 训练系统的轻量化全 CPU 复刻。Muon 通过 Newton-Schulz 迭代对梯度动量矩阵做整体正交化,使更新在所有奇异方向上等幅,克服了 AdamW 逐元素缩放破坏矩阵几何结构的缺陷。项目还实现 Per-Head 正交化、QK-Clip 与混合优化器等组件,并附带无需 GPU 的可运行 Gradio demo。
该博客深入解析 Muon 优化器原理,并完成 KIMI K3 训练系统的轻量化全 CPU 复刻。Muon 通过 Newton-Schulz 迭代对梯度动量矩阵做整体正交化,使更新在所有奇异方向上等幅,克服了 AdamW 逐元素缩放破坏矩阵几何结构的缺陷。项目还实现 Per-Head 正交化、QK-Clip 与混合优化器等组件,并附带无需 GPU 的可运行 Gradio demo。
本期 Import AI 介绍 FrontierML 基准,该基准测量智能体能否把资金转化为模型性能:在 21 个长程任务上,最强系统 Opus 5.5 拿到 45.4($10)与 58.8($200)的分数提升,人类基线为 56 和 66.1,开源模型中 Kimi K3.1 Pro 为 25.5 与 29.6。
AI 科学初创公司 Physical Supermission 用一套运行非公开 Anthropic 模型的内部研究系统证明了 2008 年提出的 Aaronson-Ambainis 量子计算猜想,并获 Lean 验证。
KIMI K3 的 Gated MLA(门控多头潜在注意力)在 DeepSeek-V2 的 MLA 基础上引入 NoPE 与全秩输出门(Eq.7),将 KV cache 从 O(T·H·D) 压缩至 O(T·kv_lora_rank)。
苹果研究团队在 arXiv 提交论文《Perceptive Humanoid Motion from Simulation》,披露人形机器人自主控制系统 HALO,并在宇树 G1 机器人上完成验证。
同一新闻,精选展示《苹果公开 HALO 人形机器人研究:宇树 G1 身体加 Mac mini 跑千问,6 个陌生家庭实测成功率 91%》
Infinite Evolution Lab 提出 Evolver,一个不改动模型参数、把 Agent 执行记录提取为可检索、可审核、可撤回策略资产的外部经验系统,Gene 保存行动指导,Capsule 关联执行案例,来源与使用资格独立维护。
arXiv 2610.26601 的实验显示,冻结 BERT-base 经 16 轮置信度迭代解码可还原 61.0% 的 15% 掩码文本;仅用普通 MLM 目标微调后,QQP 释义生成 ROUGE-L 0.583,与 DiffusionBERT 已发表值 0.585 同档。
哔哩哔哩 Index LLM 团队推出 Index-Translate 系列翻译模型,文本翻译覆盖 150 种语言,提供 2B、9B 和 35B-A3B(preview)三种规模,同时支持图文翻译。
Oracle AI 联合 USC、UPenn 在 arXiv 挂出 VELD-QA 基准(arXiv 2610.20964,代码 oracle-samples/veld-qa),用 15,000 道全人工标注问答、5,859 份真实 PDF、合计 372,445 页把检索与阅读分开计分。
GFLOPS 的 Ryosuke Suzuki 在 arXiv 发表论文(arXiv 2610.21300):把 70 个医疗器械合规评估 prompt 以字节相同的请求发给 14 个商业部署(7 个模型、3 家提供方、6 条调用路径),连续两天每天 5 遍,没有一个部署能复现自己的全部回答,12 个连「满足/不满足」标签都变过,引用段落的漂移比标签翻转更普遍。
POSTECH 论文提出免训练框架 LoC,指出多模态文档 RAG 的瓶颈常在生成端视觉 token 预算而非检索:五个主流方法平均每查询只喂 0.72K–2.68K 视觉 token,纯页图预算从 1K 提到 32K 后 SciEGQA 准确率从 65.74% 升至 80.96%。
arXiv 自 2026 年 10 月 1 日起把每人每月投稿上限设为 2 篇,2024 年起实施的 3 篇在投上限继续保留,该限制适用于所有类别且只约束投稿人,共同作者不受影响。
推荐理由:原文列出了投稿量两年翻倍与审核工单积压的具体数字,读者可据此判断限投新规对论文发表节奏的影响。
Multiverse Computing 发表论文 ProvenanceGuard,提出面向 MCP 智能体的来源感知事实性验证方法,专门检测事实成立但归属来源错误的跨来源混淆问题。
推荐理由:论文针对 MCP 智能体的跨来源混淆问题提出来源感知验证方法,在医疗测试中拦截了专家判定不应通过的 139 条声明里的 138 条。
多校研究者推出 SPADE 框架,让 LLM 在自博弈中交替生成可执行训练环境并尝试求解,用强模型生成的合成数据反哺模型自身训练。SPADE 在 Qwen3-30B-A3B-Instruct-2507 上经 GRPO 微调后,游戏环境套件平均分达 58.3,较 base 提升 8.1;METR 另分析称 AI 显著加速了网络安全漏洞发现,对数学研究仅有小幅加速,对 AI 研究优化尚无可测加速。
智库 IFP 发布 23 条政策建议,覆盖 7 大类别,旨在帮助政策制定者应对 AI R&D 自动化风险,包括提升透明度、发展 AI 验证技术与投资 AI 韧性。