跳到正文
AWS Machine Learning Blog· Shantanu Tripathi·· 15 天前精选AI 评分71

Amazon SageMaker Inference 现已支持 Multi-Instance GPU 分区以提升模型端点 GPU 利用率

SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

AI 导读

Amazon SageMaker Inference 现已支持基于 NVIDIA Multi-Instance GPU (MIG) 的 GPU 分区,可将一块物理 GPU 最多切成 7 个硬件隔离的独立分区,每个分区拥有固定算力份额与专用显存。

推荐理由

原文给出分区配置方式、各 GPU 的可用分区规格以及实测对比,读者可据此判断 GPU 分区能否降低自己推理工作负载的成本。

来源:AWS Machine Learning Blog · aws.amazon.com