AWS Machine Learning Blog· Dmitry Soldatkin·· 19 小时前精选AI 评分60
AWS 推出 Amazon SageMaker HyperPod Global Inference Gateway,一个端点跨 Region 路由推理请求
Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters
AI 导读
AWS 在 SageMaker HyperPod 推出 Global Inference Gateway,用一个 SageMaker 托管端点把推理请求路由到已注册的多个集群,支持同 Region 或跨 Region。
推荐理由
原文给出了四信号加权路由与自动故障转移的实现细节,读者可据此评估多 Region 推理部署的改造方案。
来源:AWS Machine Learning Blog · aws.amazon.com