AWS 开源融合 MoE 内核优化，已上游至 vLLM

AWS 在官方博客介绍了在 Amazon SageMaker AI 上为融合 MoE（混合专家）模型实现的多项内核优化，并将相关改动开源、上游至 vLLM。 其中 Swap-AB 技术通过转置矩阵乘法匹配 Hopper 架构 WGMMA 硬件布局，AWS 称其在 H200 上带来 2–4% 的端到端吞吐提升，已进入 vLLM 0.24.0 及以上版本；另一项优化已进入 vLLM 0.22.0 及以上版本。这些优化同时应用于 SageMaker AI 的 LMI 深度学习容器，其中一项改进包含在 LMI v28 容器中。 其余优化还包括 FP8 量化场景下的后端路由切换，以及消除 Triton JIT 重编译。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。