ACCT将源模型KV转换为同家族目标模型可直接消费的稀疏状态

在现实世界的部署中，大型语言模型（LLM）系统日益从单一模型调用发展到动态调用不同模型进行推理的异构部署。然而，当跨模型重复使用相同的上下文时，每个新选择的目标模型通常必须再次处理它，从而反复产生大量的计算成本。因此，我们提出了ACCT（非对称跨LLM上下文传输），其目标是同一模型族内不同尺度的模型之间的KV cache传输。 ACCT将源模型产生的KV cache转换为目标模型可以直接使用的稀疏KV状态，从而实现上下文计算的跨模型重用，并将上下文计算与下游推理解耦。 ACCT 由三个轻量级组件组成：Cartographer 识别每个目标层和 KV 头的查询相关上下文 token；分配器确定每个目标层和 KV 头在共享的总 KV 预算下保留多少个上下文 token； Compiler将选定的源KV转换为稀疏的目标KV。因此，目标模型可以使用传输的 KV 进行推理，而无需重新处理原始上下文。我们在两个互补的环境中评估 ACCT，其中包括五个一般能力基准和六个高度依赖于上下文的任务。实验表明，即使将 KV cache 大小减小 75%，ACCT 也能匹配或超过目标模型的原始推理性能。在大约 19K token 的上下文长度下，ACCT 的 KV 转换比目标上下文预填充实现了 6.5-21.2 倍的加速。这些结果证明了在有限的 KV 预算下跨模型转移上下文计算的可行性。