跳到正文
博客园· 石头开会·· 4 小时前AI 评分36

重新理解 RankMixer:扩参为什么有效,又为什么划算?

重新理解 RankMixer:扩参为什么有效,又为什么划算? - 石头开会

AI 导读

RankMixer 通过语义特征分组、独立 per-token FFN 与多头 token mixing 结构,使模型扩参后仍能持续提升推荐精度。生产部署中,RankMixer-1B 相比旧模型 OnlineBase-16M 参数量增加约 70 倍,MFU 从 4.47% 提升至 44.57%,延迟基本保持。

来源:博客园 · cnblogs.com