产品与服务

SageMaker AI:端点容量感知实例池与自动实例回退

SageMaker AI端点增加容量感知实例池

AI 基础设施推理服务

概述

AWS 通过机器学习博客宣布 SageMaker AI 端点新增容量感知实例池:开发者可为端点配置按优先级排列的实例类型列表,系统在创建端点或扩缩容时若首选实例容量不足,会自动回退到次优先级实例,降低单一种类实例缺货对部署的影响。该能力覆盖单模型端点、基于 Inference Components 的端点以及异步推理端点,详情见 AWS 官方博客。