论文
群体视角很重要:规范辩论关系可以减轻多主体辩论中的盲目从众
Group Perspective Matters: Regulating Debate Relationships Can Mitigate Blind Conformity in Multi-Agent Debate
摘要
多智能体辩论(MAD)通过多轮交互提高了 大语言模型(LLM)的推理性能。然而,MAD 中的 LLM 非常容易盲目从众。现有的个体评价方法通常基于置信度或困惑度,无法反映推理的正确性,甚至可能加剧盲目从众。为了解决这个问题,我们将视角从个人评估转向群体互动。我们将 LLM 之间的相互引用定义为 \textbf{辩论关系} 并认识到调节这些关系是减轻盲目从众的关键。在本文中,我们提出了一个新的框架,从群体的角度动态地调节 deb\textbf{A}te \textbf{R} 关系(DEAR)。首先,DEAR 将共识和分歧量化为 \textit{群体证据} 以捕获辩论状态。那么,DEAR的运作经历了三个阶段: 1)What:感知群体协商倾向和不确定性; 2)Who:引入Selection RL-Agent来动态选择参考点; 3)如何:采用行为 RL-Agent 自适应地调整生成行为。值得注意的是,我们将两个 RL-Agent 的执行制定为一个顺序决策过程,通过多代理强化学习联合优化。大量实验表明,DEAR 实现了卓越的性能,同时显着减少了词元消耗。