机器中的社会推理：调查 大语言模型 辩论中的集体求真动态

人类推理长期以来被理论化为社会运作，不是通过孤立的个人认知，而是通过集体对抗性话语，即一种称为论证推理理论（ATR）的框架。 ATR 并不依赖个体的“智识主义推理者”作为寻求真理的主要工具，而是将真理重新概念化为社会认识论的新兴属性：在辩论的对抗压力下完善的不完美的个人推理的产物。这种集体智慧的分布式方法引导人类达到了前所未有的认知高度，并支撑了所有民主制度的基本原则。本论文首次通过大语言模型（LLM）的多智能体辩论（MAD）模拟ATR，开辟了新天地。通过严格的实证分析，我们证明，当正确设计一组认知多样化的模型时，LLM-MAD 可以显着提高基于问卷的任务中寻求真相的表现，即使个别辩论参与者表现出有限的独立表现。此外，我们提出了强有力的经验证据，表明这种性能增益在机械上植根于 ATR 的核心原则，这表明集体推理可能普遍优于个人主义推理，而不是生物学或进化论的怪癖。最后，根据我们对辩论动态的分析，我们提出了一种新颖的基准测试方法，该方法利用 LLM-MAD 来测量内在模型属性（例如幻觉倾向），以便以当前静态基准测试方法无法支持的方式比较模型。