论文
通过上下文相关性的注意力引导增强多智能体通信
Enhancing Multi-Agent Communication through Attention Steering with Context Relevance
摘要
基于LLM的多智能体系统通过协作推理在复杂任务上展现出卓越性能。然而,这些系统在交互过程中往往会迅速积累极长的对话历史。随着对话变长,相关信息被无关上下文不断稀释,导致性能下降。本工作提出Agent-Radar,一种免训练的上下文管理方法,利用新颖的时间与空间衰减机制,动态地将每个智能体的注意力引导向相关上下文。实验表明,Agent-Radar在五个不同基准上均优于最先进方法,最高带来7.64个绝对点的增益。此外,我们的分析显示,随着智能体数量与交互轮次的增加,Agent-Radar依然有效且鲁棒。最后,消融实验表明,Agent-Radar的核心组件对性能至关重要,并且在不同设置下具有可泛化性。
