开源项目

NVIDIA Dynamo v1.4.1:新增分类与池化端点,修复路由恢复

ai-dynamo/dynamo

AI 基础设施模型服务框架

概述

NVIDIA Dynamo是服务大规模模型推理的开源基础设施。v1.4.1是在v1.4.0之上的补丁版本,前端新增OpenAI兼容的/v1/classify与/v1/pooling端点,由vLLM工作节点提供支持;池化响应支持float、base64及字节格式。版本修复工作节点被标记过载后不能及时恢复的路由问题,允许logprob_token_ids透传,并修复vLLM-Omni中的NIXL对象传输失败。后端运行时版本相对v1.4.0保持不变,旧版已知问题仍适用。需要分类打分或向量池化服务的团队可评估这些端点,同时核对工作节点后端兼容性。