论文
当较少的潜在导致更好的中继时：潜在多代理 LLM 协作的信息保留压缩
When Less Latent Leads to Better Relay: Information-Preserving Compression for Latent Multi-Agent LLM Collaboration
摘要
多代理 LLM 系统正在超越离散词元消息，转向保留内部状态的更丰富的中继。最近的工作（例如 LatentMAS）在代理之间传输完整的键值（KV）缓存，但付出了很高的内存和通信成本。我们使 KV 缓存驱逐适应此设置，并引入 \textbf{Orthogonal BackFill (OBF)}，它将丢弃的 KV 状态中的低秩残差注入到保留的状态中，与已保留的状态正交。仅保留 $9.9\%$-$20.2\%$ 的提示 KV，压缩中继将带宽减少 $4.7\times$，将 GPU 内存减少 $8\%$，挂钟开销低于 $5\%$，并且在九个基准测试中保持接近完全中继的精度，在几个基准测试中领先于它。 OBF 在所有九个方面都匹配或改进了头向逐出，并且其增益与逐出相对于完全中继打开的准确度差距成正比（在三个模型尺度上 $r{=}0.78$），因此它返回了逐出所需的部分内容。代码可在 https://github.com/markli404/When-Less-Latent-Leads-to-Better-Relay 获取。