论文

深思熟虑的错觉:诊断多智能体 LLM 深思熟虑中的事实消耗和立场同质化

The Deliberative Illusion: Diagnosing Factual Attrition and Stance Homogenization in Multi-Agent LLM Deliberation

模型评测模型能力评测

摘要

多智能体 LLM 系统通常将共识视为成功交互的证据。然而,对于审议问题,可靠性取决于Agent是否保留解释问题所需的事实和观点。我们发现了协商性幻觉:讨论产生(1)事实消耗,即问题关键事实的逐渐丧失,同时(2)立场同质化,即不同立场走向共识的崩溃。为了衡量这个过程,我们引入了 DelibTrace,这是一个框架,它将每个问题分解为原子事实,标记关键问题,将它们分布在代理之间,并在讨论轮次中跟踪它们的生存情况。通过与三个有代表性的 LLM 家族进行道德和基于新闻的审议,多主体讨论消除了高达 72% 的关键问题事实。这种损失是严重的:保留的证据可能会误导性地重建问题,最终立场仍然锚定在基本模型先验中,并且单个恶意代理可以将错误信息注入不断缩小的共享上下文中。这些结果揭示了一个更大的风险:Agent可以同意更多,但了解更少。我们呼吁进行评估,衡量哪些事实、不确定性和合理的分歧能够在互动中幸存下来。