SageMaker HyperPod Inference Gateway上线

Inference Gateway 在 EKS 中按 GPU 状态路由模型请求并调整服务规模。TTFT 指首 Token 等待时间，82% 是官方测试上限。 发布面向EKS的Kubernetes原生GPU感知推理路由与自动扩缩组件，官方测试TTFT最高降低82%。