跳到正文
热点事件持续更新

RankMixer 扩参实践:参数增约 70 倍,延迟基本不变

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

RankMixer 采用语义特征分组、独立 per-token FFN 与多头 token mixing 结构,使模型扩大参数规模后推荐精度仍能持续提升。 生产部署数据显示,RankMixer-1B 相比旧模型 OnlineBase-16M 参数量增加约 70 倍,MFU 从 4.47% 提升至 44.57%,延迟基本保持。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月29日
  1. 博客园
    重新理解 RankMixer:扩参为什么有效,又为什么划算?

    RankMixer 通过语义特征分组、独立 per-token FFN 与多头 token mixing 结构,使模型扩参后仍能持续提升推荐精度。生产部署中,RankMixer-1B 相比旧模型 OnlineBase-16M 参数量增加约 70 倍,MFU 从 4.47% 提升至 44.57%,延迟基本保持。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。