AWS Machine Learning Blog· Dmitry Soldatkin·· 2 天前精选AI 评分63
Amazon SageMaker AI 推出跨区域推理路由,区域容量不足时自动转移推理流量
Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI
AI 导读
AWS 为 Amazon SageMaker AI 推出跨区域推理路由,应用调用一个 inference router 即可访问多个 Region 和 AWS 账户下已运行的端点;本地目标健康时流量留在本 Region,目标无法可靠服务时新请求自动转移到其他已注册目标,恢复后再逐步回迁。
推荐理由
原文把健康度评分、故障转移和回迁策略讲得较细,读者可判断能否用它替换自建的跨区域路由代码。
来源:AWS Machine Learning Blog · aws.amazon.com