Co-FactChecker：使用大型推理模型进行人机协作声明验证的框架

专业的事实核查人员依靠领域知识和深入的背景理解来验证声明。 大语言模型 (LLM) 和大型推理模型 (LRM) 缺乏这样的基础，并且主要仅根据现有证据进行推理，从而导致专家主导的声明验证和全自动声明验证之间存在不匹配。为了缩小这一差距，我们将人类与人工智能的协作视为一条更有希望的前进道路，其中基于现实世界知识和领域专业知识的专家反馈指导模型的推理。然而，现有的 LRM 很难根据自然语言反馈进行校准，特别是在多轮交互设置中。我们提出了 Co-FactChecker，一个用于人类与人工智能协作索赔验证的框架。我们引入了一种新的交互范例，将模型的思维轨迹视为共享的便签本。 Co-FactChecker 将专家反馈转化为跟踪编辑，从而对跟踪进行有针对性的修改，从而避免基于对话的交互的缺点。我们提供的理论结果表明，跟踪编辑比多轮对话具有优势，我们的自动评估表明 Co-FactChecker 优于现有的自主和人类人工智能协作方法。人类评估进一步表明，Co-FactChecker 优于多轮对话，可以产生更高质量的推理和判决，以及相对更容易解释和更有用的思维痕迹。