开源项目

Dynamo在选择工作进程时计入可从同伴取得的KV前缀

Credit fetchable KV blocks and select the fetch source with the worker

AI 基础设施模型推理KV Cache推理服务

概述

Dynamo此前只在路由成本中奖励工作进程已持有的KV块,即使空闲节点能从同伴获取前缀,也可能继续把请求压向繁忙持有者。主线为每个候选确定可用获取来源,把可增加的前缀计入成本,并让最终获取提示使用同一来源,避免评分与执行不一致。 获取来源受工作进程类型与拓扑岛约束,只奖励尚未在目标设备、主机或磁盘中存在的块。KVCR部署需设置shared_cache_multiplier,权重为0时选择行为保持原样;预填充预算不因信用而减少,因为获取可能未命中。作者在真实KVCR部署中验证权重0.5使同岛空闲节点取得91块前缀,另一岛不获信用。微基准显示打开信用会增加候选扫描成本,生产前需结合调度CPU和真实传输命中衡量。