论文
PRISM:通过增益分解进行多智能体推理的原则框架
PRISM: A Principled Framework for Multi-Agent Reasoning via Gain Decomposition
摘要
多智能体协作已成为增强大语言模型(LLM)推理能力的有前途的范例。然而,现有的方法在很大程度上仍然是启发式的,缺乏关于什么驱动性能提升以及如何系统地优化多智能体推理的原则性指导。具体来说,目前尚不清楚为什么多智能体协作优于单智能体推理,以及哪些设计选择对这些收益贡献最大,从而很难构建更好的系统。我们通过引入一个统一的理论框架来解决这一差距,该框架将多智能体推理收益分解为三个概念上独立的维度:探索不同的解决方案覆盖范围、高保真反馈的信息以及原则共识的聚合。通过这个镜头,现有的方法可以被理解为仅优化这些维度的子集的特殊情况。在此分解的基础上,提出了一种名为 PRISM(多主体推理的提议-审查-集成综合)的新颖框架,该框架通过基于角色的多样性、基于执行的反馈和基于证据的交叉评估以及带有闭环验证的迭代综合来共同最大化所有三个维度。数学推理、代码生成和函数调用基准的大量实验表明,与优化部分维度的方法相比,PRISM 实现了最先进的性能,具有卓越的计算效率。该理论框架为未来的多智能体推理系统提供了可行的设计原则。
