开源项目

Dynamo增加按会话固定首次低负载worker的路由策略

feat(router): add sticky min-load worker-selection policy (#15600)

AI 基础设施模型推理KV Cache推理服务

概述

Dynamo用于多worker与分离式模型推理服务。 滚动多轮会话在默认KV成本策略下会因短时负载差频繁迁移worker,重复prefill不断增长的历史。 sticky-min-load把首请求放到最少活跃worker,之后仅在该worker不再候选时重绑;空闲绑定有过期时间,P/D池分别绑定。 需router-policy-config显式配置;作者双GB300、特定滚动会话回放,不能概括全部工作负载最优。 本条依据固定源码与官方交付说明整理;代码合入不冒充稳定安装包,性能与测试结果为原作者披露,未做本地模型运行复现。