开源项目

Dynamo用显式角色模板部署SGLang与vLLM多节点sidecar

feat(operator): support explicit SGLang multinode sidecar roles (#16685) / feat(operator): support explicit vLLM multinode sidecar roles (#17216)

AI 基础设施模型部署

概述

Dynamo本日为SGLang和vLLM提供同一显式多节点sidecar契约。组件必须给出完整leader/worker PodTemplate,自行编写引擎命令、多节点参数、端口与探针,并指定哪些角色需要runtime。operator校验模板但不解析引擎shell命令,也不再自动注入后端协调参数或猜测sidecar位置。 本条合并两个后端,因为它们交付同一角色声明和渲染机制。SGLang保留Grove/LeaderWorkerSet管理;vLLM给出DP及TP样例,部分入口需vLLM>=0.32和dynamo-sidecar 1.6。新拓扑变量只注入1.6以后创建的DGD,旧DGD需重建或显式替换变量。作者披露B200 Kubernetes上的端到端验证,样例冷启动及协调超时仍需按实际环境设置。