论文

PrefillShare:用于多 LLM 分解服务中 KV 重用的共享预填充模块

PrefillShare: A Shared Prefill Module for KV Reuse in Multi-LLM Disaggregated Serving

模型推理KV Cache

摘要

多代理系统越来越多地协调多个专门的语言模型来解决复杂的现实问题,通常在共享上下文中调用它们。此执行模式跨模型重复处理相同的提示前缀。因此,每个模型都会冗余地执行预填充阶段并维护自己的键值 (KV) 缓存,从而通过加剧现有 LLM 服务堆栈中的预填充解码干扰来增加总预填充负载并恶化尾部延迟。分解服务通过将预填充和解码放在单独的 GPU 上来减少此类干扰,但分解并不能从根本上消除同一提示的计算和 KV 存储中的模型间冗余。为了解决这个问题,我们提出了 PrefillShare,这是一种新颖的算法,可以在分类设置中跨多个微调模型共享预填充阶段。 PrefillShare 将模型分解为预填充和解码模块,冻结预填充模块,仅微调解码模块。这种设计允许多个特定于任务的模型共享预填充模块以及为同一提示生成的 KV 缓存。我们进一步引入了一种路由机制,可以在基于 vLLM 的分解系统中实现有效的预填充共享。 PrefillShare 不仅在各种任务和模型上达到 微调 的完整准确度,而且还在多模型代理工作负载中提供了 4.5 倍的 p95 延迟降低和 2.0 倍的吞吐量提高。