R2VC：具有检索、验证和置信度校准的模块化事实检查

大型语言模型越来越多地用于自动事实检查，但端到端提示往往会涉及证据检索、推理和不确定性估计，使得故障难以诊断，信心难以信任。我们提出了 R2VC，这是一种模块化检索、推理、验证、校准架构，用于通过引用和弃权进行基于证据的事实检查。 R2VC 结合了维基百科上的混合稀疏+密集检索、一个有监督的微调和 DPO 对齐生成器，可生成不同的结构化判决候选，一个用于基于证据的候选选择的外部 NLI 交叉编码器，以及一个用于置信度估计和选择性弃权的轻量级序列级校准器。在 FEVER 上，采用 R2VC 的 8B 主干网的准确度比基线高 13.74%。消融研究表明，基于验证者的候选选择和置信度校准是对性能的最大贡献者。删除候选选择会将 FEVER 准确度降低至 76.24%，而删除校准则使 Brier 分数几乎翻倍至 0.161。对 250 个错误的手动分析进一步表明，检索失败，尤其是错误实体证据，仍然是主要瓶颈。总之，这些结果表明，模块化事实检查管道可以显着提高开放域验证中的预测准确性和置信可靠性。