多代理 大语言模型 对话中的决策协议

提高 大语言模型 (LLM) 的任务性能至关重要，但扩展这些模型面临着收益递减和高成本等重大挑战。多代理系统（MAS）通过在专门的代理之间分配任务来提高整体任务性能，从而提供了一种有前景的解决方案。这可以降低训练成本，但代价是由于讨论和决策过程而增加了测试时间。决策协议是 MAS 的关键组成部分，因为它指定了多个代理如何协作创建最终解决方案。本文介绍了多智能体LLM（MALLM）框架，该框架实现并评估了各种决策协议，即投票、共识和判断决策机制，以模拟对话任务解决的多智能体讨论。与之前使用单一决策协议或在有限数据集上进行测试的工作不同，本研究系统地研究了它们对各种任务的影响，包括基于知识的数据集（MMLU、MMLU-Pro、GPQA）和基于逻辑的数据集（StrategyQA、MuSR、Math-lvl-5、SQuAD 2.0）。结果表明，共识协议在知识密集型领域表现出色，而投票和判断协议对于基于逻辑的任务更有效。通过独立解决方案生成增加响应多样性可以提高决策质量，而决策过程中信息访问的变化影响最小。