论文

Minority Sentinel:何时纠正多Agent辩论中的多数投票

Minority Sentinel: When to Overturn Majority Voting in Multi-Agent LLM Debates

智能体系统Agent 协作

摘要

多数投票的多智能体辩论 (MAD) 是改进 LLM 推理的主要范例,但其有效性取决于孔多塞陪审团定理的独立错误假设。由于当代的 LLM 具有相似的预训练语料库,因此它们的错误具有很强的相关性,导致大多数人系统性地压制正确的少数意见,这种现象我们称之为少数派真理。通过三个异构 LLM 代理在六个基准上的辩论,我们发现大约四分之一的不同案例中少数人持有正确答案,从而产生 10 个百分点的理论恢复裕度。我们提出了 Minority Sentinel,这是一种轻量级元分类器,它从辩论日志中提取多维辩论指纹,并训练 LightGBM 模型来决定何时推翻多数投票。 Minority Sentinel 在所有 6 个数据集和所有 20 个随机种子试验中实现了 81.2% 的稳定翻转精度和正净增益,证明辩论日志包含足够的行为信号,可供非 LLM 分类器可靠地恢复被抑制的少数群体,而不会降低系统的准确性。尽管召回率较高,LLM 作为法官的基线仍产生负净增益,这证实了翻转安全性而不是恢复量决定了干预价值。