跳到正文
AWS Machine Learning Blog· Vinay Arora·· 4 天前AI 评分58

Amazon SageMaker HyperPod Inference 现支持 NVIDIA Dynamo 托管推理

Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference

AI 导读

Amazon SageMaker HyperPod Inference 现支持 NVIDIA Dynamo,将后者的多节点部署、prefill/decode 分离与 KV-aware 路由能力接入 HyperPod 的基础设施管理。

来源:AWS Machine Learning Blog · aws.amazon.com