开源项目

Dynamo让软亲和排队与最终可选worker保持一致

fix(router): honor exclusive affinity in queue admission and costing

AI 基础设施模型推理KV Cache分布式推理推理服务

概述

Dynamo用于多节点大模型推理服务编排。默认选择器下,仍合格的软亲和目标具有排他性,原成本和准入却可计算其他worker,导致估计与实际选择不一致,并发生队首阻塞。新独立lane分别处理硬固定、rank软目标和worker软目标;容量变化唤醒对应lane,目标因过载、不可用或host-reject变不合格时按100毫秒检查节奏发现回退,已回退旧请求可竞争可用容量。硬固定不因此放宽,自定义非排他selector保留原候选。最终头853项CPU回归通过,但没有GPU服务吞吐新测量;历史exact-lane微基准有6.7%至15.6%变慢,不能只写调度加速,也不能把100毫秒当总接纳延迟上限。