Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程优化

Amazon SageMaker AI 通过 Swap-AB 技术优化 Mixture-of-Experts 内核，在 H200 上提升 2–4% 吞吐量，该优化已集成至 vLLM 0.24.0+。针对 FP8 量化模型，Triton 后端因寄存器级融合在低并发负载下优于 CUTLASS，显著减少显存读写开销。