产品与服务

SageMaker AI推出生成式推理端点可观测能力

SageMaker AI推出推理端点可观测能力

AI 基础设施可观测性

概述

SageMaker AI新增生成式AI推理可观测功能(2026-06-18,功能上线日口径):通过CloudWatch Insights仪表板集中显示token延迟、每秒token、GPU状态、KV缓存、推理组件、副本、扩缩容事件和冷启动信息,并自动发布OpenTelemetry指标。详细信息以官方发布为准。