基于RAG的事实核查中LLM在证据前认知状态上的仲裁行为诊断

在基于RAG的事实核查中，LLM越来越多地被用作验证器，将给定声明与检索到的证据进行比对核查。其参数化知识会诱发可能与检索上下文相冲突的证据前倾向，然而现有评估框架既没有刻画这种先验—上下文差异，也没有度量验证器如何在参数化信号与上下文信号之间进行仲裁。我们提出了PAVE（Prior-Aware Verifier Evaluation，先验感知验证器评估），这是一个诊断性测试床，依据LLM验证器证据前先验的正确性与置信度将其划分为四种认知状态，并在这一新基准上评估其仲裁行为，即在误导性证据面前是否坚持正确的先验，以及在提供准确证据时是否纠正错误的先验。跨七个LLM的实验揭示了不可靠且高度依赖模型的先验—上下文仲裁，凸显了验证器选择对现实世界中基于RAG的事实核查应用的重要性。基于这些发现，我们提出了一种基于JSD的轻量级测试时仲裁方法，无需修改底层模型即可提升事实可靠性，并在多样化的LLM家族中取得了有竞争力的表现。