AWS Machine Learning Blog· Shantanu Tripathi·· 5 天前精选AI 评分66
SageMaker Inference 支持 GPU Partitioning，利用 NVIDIA MIG 提升实例利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 推出 GPU Partitioning 功能，基于 NVIDIA MIG 将单个物理 GPU 划分为最多七个独立分区，每个分区提供固定份额的计算单元和专属显存，并在硬件层面强制隔离。
推荐理由
明确列出了各实例族的可用分区规格和API配置示例，读者可直接对照自身流量特征选择合适尺寸。
来源：AWS Machine Learning Blog · aws.amazon.com