产品与服务

Cerebras:推出请求服务分层功能

推出请求服务分层功能

AI 基础设施推理服务

概述

Cerebras 推出 Service Tiers,允许为 API 请求设置优先级,按工作负载的延迟敏感度分配资源。功能属托管推理 API 的请求配置,面向推理 API 开发者与企业工作负载运营团队;分层配置使延迟敏感任务与批量任务可以分开调度。