论文

StateBridge:LLM多智能体系统潜在通信的免训练隐状态对齐

StateBridge: Training-free Hidden-state Alignment for Latent Communication in LLM Multi-Agent Systems

智能体系统Agent 协作

摘要

基于大语言模型的多智能体系统通常以文本通信,即使用离散token。然而,文本引入了离散瓶颈。将发送方的连续隐状态转换为离散token会丢弃仅凭token身份无法承载的信息。近期工作提出潜在通信作为替代方案:智能体直接传输隐藏表示而不将其转换为文本。但现有潜在方法要么在Transformer各层逐层注入工作记忆,要么需要训练投影器而限制可移植性。我们提出StateBridge,一种免训练的潜在通信方法,通过闭式正交变换将发送方最终层隐状态对齐到接收方的输入空间。轻量级范数校准与词表锚定确保与预训练输入分布的兼容性。对齐后的状态作为连续前缀拼接到接收方智能体的输入前部。我们在数学推理、代码生成与问答上,用来自两个家族的四个模型评估StateBridge。StateBridge在26个模型-任务对中的22个上取得最佳或并列最佳成绩,持续超越最强基线。