跳到正文
热点事件持续更新

RTX 5090 实测:MoE router 量化与并行化两条优化路径均被否

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Kestrel_VLLM 在 RTX 5090 上实测 Qwen3-30B-A3B(128 专家 / top-8)的 MoE router,否定了两条优化路径:fp16 量化只减少字节数、不降低延迟;按 i 维拆分的并行化会破坏保序性,导致 greedy 解码在 t=27 处发散。 两条路径的判否意味着 router 优化的方向需要另寻,decode 阶段的真正瓶颈另有其因,但报道未给出替代方案的具体结论。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. 掘金
    Kestrel_VLLM - 14 · router 两个方向判否,与 decode 的真瓶颈

    Kestrel_VLLM 在 RTX 5090 上实测 Qwen3-30B-A3B(128 专家 / top-8)MoE router 的 fp16 量化与并行化两条路径,双双判否:量化只减字节不减延迟,并行化拆 i 维会破坏保序、导致 greedy 在 t=27 发散。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。