适用于异构多​​Agent LLM 的免预填充跨系列 KV 缓存传输

最近的多AgentLLM系统越来越多地结合异构模型来实现专门的Agent角色。然而，基于文本的通信要求每个接收者预先填充发送者已经处理过的共享上下文。重用发送者的键值 (KV) 缓存可以避免这种冗余，但跨模型系列的免预填充传输必须处理标记化、模型深度和 KV 表示方面的差异。为了解决这些问题，我们提出了 \textit{HeteroFold}，一种无需预填充的跨系列 KV 缓存传输方法，可以使发送者和接收者保持冻结状态。 HeteroFold 对齐模型结构，将发送方缓存映射到接收方空间，并对其进行校准以保留接收方行为。在六个传输方向上，HeteroFold 在所有四个长上下文基准测试和大多数短上下文设置上实现了最佳缓存传输性能。它还与多Agent基准上基于文本的通信相匹配。在 32K 上下文长度下，Llama-3.1-8B$\rightarrow$Ministral-3-14B 传输比 Native Prefill 快 $10.7\times$，比最先进的无预填充基线、Dense Latent 和 KV Ridge 快 $1.18$--$1.47\times$。这些结果表明，HeteroFold 无需接收器预填充即可实现高效的跨系列 KV 重用。