开源项目

NVIDIA Dynamo v1.5.0:可插拔 worker 选择与分层 KV 索引

ai-dynamo/dynamo v1.5.0

AI 基础设施推理服务

概述

NVIDIA Dynamo 是分布式推理平台,负责在多个推理节点之间路由请求并管理缓存与服务组件。 NVIDIA Dynamo v1.5.0 允许组合 worker 过滤、评分与选择策略,将 Mooncake 共享缓存和磁盘层纳入 KV 索引,并支持短请求绕过远程预填充。 版本迁移 Kubernetes 存储 API,默认使用 Rust Endpoint Picker,并更新 Frontend 和 TLS/mTLS。KVBM 已弃用,计划在 v1.6.0 移除,升级时需检查组件与接口。