RTX 5090 实测:MoE router 量化与并行化两条优化路径均被否
热点事件持续更新
RTX 5090 实测:MoE router 量化与并行化两条优化路径均被否
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Kestrel_VLLM 在 RTX 5090 上实测 Qwen3-30B-A3B(128 专家 / top-8)的 MoE router,否定了两条优化路径:fp16 量化只减少字节数、不降低延迟;按 i 维拆分的并行化会破坏保序性,导致 greedy 解码在 t=27 处发散。 两条路径的判否意味着 router 优化的方向需要另寻,decode 阶段的真正瓶颈另有其因,但报道未给出替代方案的具体结论。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 10:24
Kestrel_VLLM - 14 · router 两个方向判否,与 decode 的真瓶颈报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- 掘金Kestrel_VLLM - 14 · router 两个方向判否,与 decode 的真瓶颈
Kestrel_VLLM 在 RTX 5090 上实测 Qwen3-30B-A3B(128 专家 / top-8)MoE router 的 fp16 量化与并行化两条路径,双双判否:量化只减字节不减延迟,并行化拆 i 维会破坏保序、导致 greedy 在 t=27 发散。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。