论文
CacheBack:按接收Agent需求压缩KV通信状态
Receiver-Conditioned Latent Communication gives 94% CacheBack
摘要
多Agent系统将大型上下文分布在通过通信来解决任务的Agent之间。文本消息很紧凑,但需要解码,并且可能会遗漏接收Agent所需的证据。最近的潜在通信改为传输 KV 缓存。这可以避免文本生成,并可以提高准确性和延迟。然而,完整的 KV 缓存随着单个Agent处理的上下文以及一起协调的Agent数量呈线性增长。这会增加内存和上下文成本,通常远远超过可用的 GPU 资源和上下文窗口大小。我们的主要观察结果是,Agent只需要发送接收Agent执行其本地任务所需的内容——我们称之为接收者条件通信。接收方Agent向发送方传递其信息需求的简短描述,用于过滤和压缩发送方Agent的 KV 缓存。 CacheBack 是一个简单、稳健、免训练的接收器调节实例,基于发送者的注意力权重。在 FanOutQA 上,与文本通信相比,Qwen 3 的 CacheBack 消除了Agent本来会收到的 75% 的状态,将准确性提高了 14.7 个百分点,并将任务完成延迟中值降低了 3.2 倍。我们在涵盖密集 Transformer、Mamba 注意力混合体和滑动窗口注意力的模型系列中展示了类似的改进。