开源项目
Dynamo 1.6将请求分类、排队和Worker选择接入统一推理调度
Dynamo v1.6.0
概述
Dynamo是面向多节点、多引擎部署的分布式推理平台。1.6版本把请求分类插件、策略队列和Worker选择接入共同执行核心:插件可以延后请求、调整合法调度输入或建议Worker,显式绑定的Worker仍保留优先级。前端、独立选择服务与Kubernetes端点选择器复用同一套选择逻辑,评分参数集中到策略配置文件。 这一交付同时提供运行时端点和GPU预算边界调整,并以Snapshot支持SGLang、vLLM引擎的主备故障接管。会话前缀索引和外部KV状态通道属于可选机制,不能直接推断所有任务都有性能收益。升级需配套所列引擎与CUDA版本,迁移vLLM服务名称、Operator资源所有权及策略参数;旧资源名称冲突需要预先处理。源码采用Apache-2.0,部分测试数据另有声明。