开源项目

Dynamo以统一sidecar接通LPX聚合及分离式服务

Serve LPX engines through one OpenEngine sidecar

AI 基础设施推理服务

概述

Dynamo新增dynamo-sidecar lpx,支持LPX引擎作为聚合服务,或作为vLLM预填充工作进程之后的解码节点。sidecar通过gRPC走TCP或Unix socket,按引擎元数据登记模型;就绪由引擎自身探针负责,不发布引擎负载,路由器按处理中请求数平衡。 主线同时加入sidecar镜像构建、Operator模型路径绑定、准入检查及vLLM至LPX交接测试。作者报告预生产LPX硬件上的聚合/P/D贪心结果一致,并检查Agent pod扩缩、更新与模型切换。logprobs、约束解码与多模态输入会明确拒绝,非零rank待命。升级会因Operator向LPX pod所有容器发布模型路径而触发一次滚动更新;不宣称这些预生产测量等同所有部署可用。