跳到正文
热点事件持续更新

实测 Muon 优化器:等 token 全胜,等时间语言任务输给 AdamW

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

卡塔尔哈马德·本·哈利法大学与阿曼苏丹卡布斯大学团队在 NeurIPS 2026 OPT2026 工作坊发表论文(arXiv 2610.21555),在单张 A100 上对 Muon 与 AdamW 做了四个负载的配对实测:等 token 预算下 Muon 20 组配对全胜;但等墙钟时间下语言任务被 AdamW 反超,原因是参考实现中 Muon 优化器一步吃掉 56%~70% 的训练时间;调参预算只有 1 次时 Muon 期望 regret 13.66%,接近 AdamW 的两倍。 实验存在限制:超参用单种子选出,开发视界只有全程的 20%,交叉点只能解析到评估检查点粒度。

AI 根据报道生成 · 58 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. 掘金
    Muon 到底什么时候赢?等 token 全胜、等时间翻车:换优化器前先算的三本账

    单卡 A100 实测论文(arXiv 2610.21555,NeurIPS 2026 OPT2026)发现:等 token 时 Muon 四个负载全胜、20 组配对全赢,但等墙钟时间时语言任务被 AdamW 反超,因为参考实现中 Muon 优化器一步吃掉 56%~70% 的训练时间;调参预算只有 1 次时 Muon 期望 regret 13.66%,接近 AdamW 的两倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。