论文

认股权证差距:以索赔为条件的事实核查重新评分

The Warrant Gap: Claim-Conditioned Re-scoring for Fact-Checking

模型推理推理验证与自校正

摘要

基于 LLM 构建的事实检查系统在标准基准上实现了较高的判决准确性,但定期输出支持其所引用的证据未许可该声明的标签。结构化分解是检查这些权证的自然方法,但严格的提取协议剥夺了方面所需的完整声明上下文。我们引入了 SIFT——针对完整索赔对提取的证据范围进行索赔条件重新评分——与 WSP(保证支持比例)相结合,这是一种自动 NLI 检查所引用的保证是否涉及索赔。我们对四个开源主干网的 FEVER、SciFact、5PILS 和 DP 进行了评估。 SIFT 恢复了单元格的准确性,其中朴素分解成本高达 27.6 分,同时将 WSP 提高到直接提示之上; WSP 本身根据人工标准证据进行校准,AUC 为 0.92,精度为 0.98。