掘金· 用户36005557900·2026-10-20 10:24· 11 小时前AI 评分31Kestrel_VLLM - 14 · router 两个方向判否,与 decode 的真瓶颈AI 导读Kestrel_VLLM 在 RTX 5090 上实测 Qwen3-30B-A3B(128 专家 / top-8)MoE router 的 fp16 量化与并行化两条路径,双双判否:量化只减字节不减延迟,并行化拆 i 维会破坏保序、导致 greedy 在 t=27 发散。来源:掘金 · juejin.cn推理能力部署工程教程实践#教程/实践#推理#部署/工程查看事件全部后续