论文

通过上下文相关性的注意力引导增强多智能体通信

Enhancing Multi-Agent Communication through Attention Steering with Context Relevance

上下文与知识上下文工程

摘要

基于LLM的多智能体系统通过协作推理在复杂任务上展现出卓越性能。然而,这些系统在交互过程中往往会迅速积累极长的对话历史。随着对话变长,相关信息被无关上下文不断稀释,导致性能下降。本工作提出Agent-Radar,一种免训练的上下文管理方法,利用新颖的时间与空间衰减机制,动态地将每个智能体的注意力引导向相关上下文。实验表明,Agent-Radar在五个不同基准上均优于最先进方法,最高带来7.64个绝对点的增益。此外,我们的分析显示,随着智能体数量与交互轮次的增加,Agent-Radar依然有效且鲁棒。最后,消融实验表明,Agent-Radar的核心组件对性能至关重要,并且在不同设置下具有可泛化性。

通过上下文相关性的注意力引导增强多智能体通信:论文配图
图 1:代理雷达概述。 (上)MAS 交互迅速积累了漫长的通信历史,有用的信息被埋在中间,没有受到足够的重视。 (下)Agent-Radar 保留完整的转录本和拓扑,通过时间和空间衰减加权的语义相关性对句子级上下文进行评分,并在推理过程中将代理的注意力引导到选定的上下文上。