论文
当辩论有帮助时:多智能体推理中的提案提供和验证感知读出
When Debate Helps: Proposal Supply and Verification-Aware Readout in Multi-Agent Reasoning
摘要
多智能体辩论可以提高推理能力,但往往无法击败简单多数投票。我们认为,成功的辩论需要两种不同的机制:提案供应必须提供正确的答案,而读出必须在投票错过答案时识别该答案。我们通过可恢复的净空来正式确定第一个要求,它衡量正确提案可用但大多数答案错误的情况。对于第二个,我们开发了潜在的验证辩论(LVD),这是一种会计模型,其中候选提案在最终生成之前接收特定于答案的验证证据。受控的固定提案干预措施估计了同等同行支持单位中的这种潜在影响,并表明正确的证据会改变答案概率并生成决策,而提案供应保持固定。为了改善提案供应,我们使用标记和无标记覆盖目标从神经丛林智能体构建社会。在两个骨干模型和匹配预算推理基准中,覆盖选择的协会增加了补充提案的供应,并提高了重复随机评估的总体准确性。轮级控制进一步表明,交互所提供的收益超出了将相同的终结器直接应用于初始提案的范围。这些结果将提案覆盖率和真相敏感证据的使用视为辩论优于投票的补充条件。代码可在 https://github.com/Wang-ML-Lab/when-debate-helps. 获取
