AWS Machine Learning Blog· Vinay Arora·· 4 天前AI 评分58
Amazon SageMaker HyperPod Inference 现支持 NVIDIA Dynamo 托管推理
Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
AI 导读
Amazon SageMaker HyperPod Inference 现支持 NVIDIA Dynamo,将后者的多节点部署、prefill/decode 分离与 KV-aware 路由能力接入 HyperPod 的基础设施管理。
来源:AWS Machine Learning Blog · aws.amazon.com