跳到正文
掘金· lucas_AI·· 2 小时前AI 评分65

Muon 到底什么时候赢?等 token 全胜、等时间翻车:换优化器前先算的三本账

AI 导读

单卡 A100 实测论文(arXiv 2610.21555,NeurIPS 2026 OPT2026)发现:等 token 时 Muon 四个负载全胜、20 组配对全赢,但等墙钟时间时语言任务被 AdamW 反超,因为参考实现中 Muon 优化器一步吃掉 56%~70% 的训练时间;调参预算只有 1 次时 Muon 期望 regret 13.66%,接近 AdamW 的两倍。

来源:掘金 · juejin.cn