跳到正文
AWS Machine Learning Blog· Dmitry Soldatkin·· 19 小时前精选AI 评分60

AWS 推出 Amazon SageMaker HyperPod Global Inference Gateway,一个端点跨 Region 路由推理请求

Introducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clusters

AI 导读

AWS 在 SageMaker HyperPod 推出 Global Inference Gateway,用一个 SageMaker 托管端点把推理请求路由到已注册的多个集群,支持同 Region 或跨 Region。

推荐理由

原文给出了四信号加权路由与自动故障转移的实现细节,读者可据此评估多 Region 推理部署的改造方案。

来源:AWS Machine Learning Blog · aws.amazon.com