RankMixer 扩参实践:参数增约 70 倍,延迟基本不变
热点事件持续更新
RankMixer 扩参实践:参数增约 70 倍,延迟基本不变
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
RankMixer 采用语义特征分组、独立 per-token FFN 与多头 token mixing 结构,使模型扩大参数规模后推荐精度仍能持续提升。 生产部署数据显示,RankMixer-1B 相比旧模型 OnlineBase-16M 参数量增加约 70 倍,MFU 从 4.47% 提升至 44.57%,延迟基本保持。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 16:00
重新理解 RankMixer:扩参为什么有效,又为什么划算?报道时间线
沿着报道,了解事件的不同侧面。
10月29日
- 博客园重新理解 RankMixer:扩参为什么有效,又为什么划算?
RankMixer 通过语义特征分组、独立 per-token FFN 与多头 token mixing 结构,使模型扩参后仍能持续提升推荐精度。生产部署中,RankMixer-1B 相比旧模型 OnlineBase-16M 参数量增加约 70 倍,MFU 从 4.47% 提升至 44.57%,延迟基本保持。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。