通过扰动证据依据感知敏感性 (GASP) 检测检索增强生成中的幻觉

检索增强生成（RAG）减少但不能消除幻觉，现有的检测器返回单个答案级别分数，该分数不表明哪个句子不受支持，或者为什么。为了弥补这一差距，我们引入了扰动证据依据感知敏感性（GASP），这是一种跨度级别的检测器，它根据每个答案句子的可能性对检索到的证据的依赖程度（我们称之为证据依赖敏感性）进行评分。 GASP 固定答案，并在完整上下文、无上下文和删除每个块的情况下重新对其进行评分，然后测量对数似然下降和 Jensen-Shannon 散度 (JSD)。一旦删除了支撑段落，有证据支持的句子的可能性就会崩溃，而幻觉句子几乎不受影响，我们通过将解码转换为随机非线性迭代函数系统（RNIFS）来解释这一对比。我们在泄漏清除协议下使用来自两个模型系列（Qwen2.5-0.5B、Qwen2.5-1.5B 和 SmolLM2-1.7B）的三个指令调整评分器在三个基准（RAGTruth、TofuEval、RAGBench）上评估 GASP。在 RAGTruth 上，它的 ROC 曲线下响应水平面积 (AUC) 约为 0.73，跨度水平 AUC 约为 0.67，显着改善了困惑度，并且在长度、全上下文自然语言推理 (NLI) 和自洽基线方面具有明显的优势。在跨度级别上唯一具有竞争力的基线是配置良好的块级蕴涵验证器，它需要一个单独的模型，而基础特征上的 无需训练 阈值与没有标记数据的训练分类器相匹配，并用作默认检测器。除了 RAGTruth 之外，信号还会传输到 TofuEval，但不会传输到 RAGBench 中的简答问答，这表明 GASP 最适合从检索到的上下文构建的输出，而不是从参数知识中恢复的答案。