Amazon SageMaker AI 上的 MoE 内核工程

AWS 介绍了在 Amazon SageMaker AI 上为 fused MoE 模型实现的多项内核优化。Swap-AB 技术通过转置矩阵乘法匹配 Hopper WGMMA 硬件布局，在 H200 上带来 2–4% 的端到端吞吐提升，并已上游至 vLLM 0.24.0 及以上版本。