产品与服务

SageMaker Python SDK加入LLM推理配置推荐

SageMaker Python SDK集成LLM推理推荐

AI 基础设施推理服务

概述

SageMaker Python SDK帮助开发者部署和管理模型推理。本次集成LLM推理推荐,对端点负载进行基准测试,再按延迟、吞吐及成本推荐配置。配置推荐应使用代表性负载并验证质量与资源限制,不能将一次基准的结果套用到所有流量。