面向多智能体讨论的上下文学习

多智能体讨论（Multi-Agent Discussion，MAD）近来受到越来越多的关注，其中多个LLM实例通过结构化讨论协作解决问题。然而我们发现，当前MAD方法容易受讨论不一致的困扰——由于各LLM个体上下文之间的失配，它们无法达成连贯一致的解。本文提出多LLM上下文学习方法（M2CL），为每个智能体学习一个上下文生成器，能够通过自动的信息组织与精炼，为每一轮讨论动态生成上下文指令。具体而言，受我们关于上下文指令的理论洞见启发，M2CL通过精心设计的自适应机制训练这些生成器，以控制上下文连贯性与输出差异。这使LLM能够避免在多数噪声上过早收敛，并逐步达成正确共识。我们在具有挑战性的任务上评估M2CL，包括学术推理、具身任务与移动控制。结果显示，M2CL的性能显著超越现有方法20%-50%，同时具备良好的可迁移性与计算效率。