跳到正文
掘金· 用户36005557900·· 11 小时前AI 评分31

Kestrel_VLLM - 14 · router 两个方向判否,与 decode 的真瓶颈

AI 导读

Kestrel_VLLM 在 RTX 5090 上实测 Qwen3-30B-A3B(128 专家 / top-8)MoE router 的 fp16 量化与并行化两条路径,双双判否:量化只减字节不减延迟,并行化拆 i 维会破坏保序、导致 greedy 在 t=27 发散。

来源:掘金 · juejin.cn