基于 LLM 的多智能体系统中通信结构优化的主动学习

优化基于 大语言模型 的多代理系统 (LLM-MAS) 的通信结构已被证明可以提高下游性能并减少词元使用。现有方法通常依赖于随机采样的训练任务。然而，任务在难度和领域上可能存在很大差异，因此它们对于更新通信结构的信息并不相同，使得有限训练预算下的优化通常不稳定并且对特定训练集高度敏感。为了主动识别对通信结构优化最有价值的任务，我们提出了一种基于集成的信息论任务选择框架。所提出的方法通过候选任务改变图参数分布的程度来估计任务信息量，使用集成卡尔曼反演作为相应贝叶斯更新的有效且无导数的近似。由此产生的估计器特别适合黑盒和嘈杂的多智能体系统。为了增强可扩展性，我们通过基于嵌入的代表选择构建了一个紧凑的候选池，并将信息选择与代理建模和批量汤普森采样相结合。我们在良性设置和代理攻击设置中验证了我们的方法，证明了其在计算预算有限的情况下优化通信结构的有效性。