XBridge：面向异构LLM通信的实体锚定潜在桥接

摘要

异构多智能体LLM系统——即智能体由不同模型家族驱动——可以通过减少冗余推理模式而优于同构配置。然而，现有通信协议要么通过文本运作，丢弃发送方的内部表征；要么要求架构同构才能进行潜在层级的传递。我们识别出跨架构通信中的实体锚定问题：跨不同LLM家族传递连续表征的交叉注意力桥会遭受罕见token压缩坍塌，实体身份在连续瓶颈中丢失（仅桥接F1约30%）。我们提出XBRIDGE，一种免解码通信协议，通过两个机制解决该问题。词汇锚映射（LAM）将发送方的原始上下文token映射到接收方词表，提供离散实体锚。潜在富集桥（LEB）让接收方查询发送方的隐藏状态以获得上下文富集。实体锚通过接收方自身的自注意力，将桥的上下文信号锚定到具体实体。在三个模型家族（Llama、Qwen和Mistral）、七个基准和两个通信方向上，XBRIDGE在每个模型对的所有七个任务上都优于基于文本的通信，同时实现11倍更低的延迟；在同架构设定下，它在七个任务中的六个上也超过KV共享基线。LEB仅需264M可训练参数（接收方的3.8%），在小规模均衡样本集上训练，且增加的推理开销可忽略。

XBridge：面向异构LLM通信的实体锚定潜在桥接：论文配图 — 图3：XBridge 概览。单次发送方前向传播产生隐藏状态 HSH_{S} 和上下文 token cSc_{S}。LAM 将 cSc_{S} 映射为接收方嵌入（实体锚定）。LEB 让接收方在四个层查询 HSH_{S}（上下文增强）。接收方以这两个信号为条件生成答案。