开源项目
Dynamo把KV复制选源与执行提示接成可替换路由插件
feat(router): move the KV fetch hint onto a kv_fetch hint policy
概述
Dynamo同日交付三项配套PR:17359引入hint policy,17647将KVCR的复制感知成本移入worker-selection插件,17360把实际kv.fetch移入内建提示插件。选择者确定worker与复制源,提示策略收到已承诺的复制并产生engine动作;编号在统一信封分配,预订失败释放。按prefill等角色设置hints,复制承诺必须恰好匹配一个发送策略且有保留块链的KV索引,非KV路由配置提示在启动拒绝。默认普通策略不再计算p2p复制收益。CPU mocker完整栈51项通过、5项既有跳过,未在GPU/真实engine运行,不能附带服务吞吐提升。动态PATCH还不能把倍率从零升到正值而无需重启。