GraniKV：具有长共享前缀的多代理系统的非对称粒度 KV 缓存分页

生产分页服务引擎将统一的分页粒度应用于 KV 缓存，即使多代理工作负载的两个区域具有相反的存储要求：长共享前缀需要连续性，而每个请求的后缀需要细粒度的分配。我们提出了 \textbf{GraniKV}，一个 KV 缓存层，它在连续的 HOT 池中分配共享前缀，在 词元级 COLD 池中分配后缀，并与每步调度程序相结合，该调度程序为每个机制（计算、内存或通信绑定）在双后端中选择适当的后端。据我们所知，GraniKV 是第一个将非对称分页粒度应用于生产分页服务引擎的 KV 缓存的系统。在 $L_p{=}16$\,K 共享词元上，GraniKV 在 Llama-3.1-8B/TP=1、Qwen-2.5-14B/TP=2 和 Qwen-2.5-14B/TP=2 上的生产基线上达到 $\mathbf{2.16\times}$、$\mathbf{1.98\times}$ 和 $\mathbf{1.57\times}$ 输出词元吞吐量Qwen-2.5-32B/TP=4。增益分解：饱和时级联注意力集成贡献大部分；非对称存储层端到端增加了 $1.05$--$1.15\times$，同时也使批量 GEMM 前缀后端成为可能。在异构多智能体提供不同长度的 \emph{distinct} 提示的情况下，归因反转：GraniKV 维持 $\mathbf{1.95\times}$，而批量全局级联崩溃到奇偶校验——仅存储层就在激励论文的机制中取得了胜利。