论文
LatCom:跨Agent潜在压缩以实现高效的多Agent协作
LatCom: Cross-Agent Latent Compression for Efficient Multi-Agent Collaboration
摘要
基于 LLM 的多智能体系统 (MAS) 越来越多地使用潜在协作来避免自然语言通信的信息丢失和重复编码解码开销。然而,直接转发所有发送方潜在变量会使接收方上下文随着Agent数量和推理长度的增加而扩展,从而增加计算量、内存使用量和协作延迟。一个自然的解决方案是潜在压缩。但我们发现现有的潜在压缩方法仍然没有解决跨Agent冗余问题,这些方法通常独立地压缩每个发送者,然后连接结果。我们提出了 LatCom,一种跨智能体潜在压缩框架,用于高效的多智能体潜在协作。 LatCom 将多个发送方潜伏映射到固定数量的接收方可读且与任务相关的时隙中。它不是重建所有发送者隐藏状态,而是优化接收者端任务效用的压缩潜伏。 LatCom 分两个阶段训练压缩器:单发送器可读性学习首先建立一个可由冻结接收器解释的潜在接口,然后多发送器融合学习训练压缩器融合互补证据并消除Agent之间的冗余。使用 Qwen3-4B 进行的多个基准测试表明,LatCom 的推理速度比 LatentMAS 平均提高了 2.46 倍,并将输出词元使用量减少了 70.3%,同时保持了相当的平均准确度。