当信心走上错误的道路时：诊断 RAG 中的检索状态锁定

检索增强生成（RAG）系统的可信度不仅仅取决于它返回的答案，但许多黑盒不确定性方法仍然将采样答案之间的一致性视为置信度。当重复样本处于相同的有缺陷检索状态时，该推理就会失败。状态可能是空的，模型依赖于参数记忆，或者由连贯但错误的邻域填充。无论哪种情况，答案都是一致的，因为误差是稳定的。该问题在已部署的 RAG 中得到了识别，但缺乏名称、可测量的签名和流行范围。我们提供这三种产品。我们将失败检索状态锁定命名为失败检索状态锁定，并通过将单个置信度分数合并的三个对象分开来诊断它：答案表面、检索到的证据和检索状态本身。在一个跨越六个问答快照的可检查的、本体引导的知识图谱 RAG (KG-RAG) 系统中，我们直接测量一致性盲点：每个问题有 5 个样本，42% 的 KG-RAG 错误和 59% 的密集检索错误的答案离散度为零，因此一致性没有什么可排名的，而证据和检索状态检查仍然标记了其中的大多数。该分解支持可审核的决策规则：仅当答案、证据和检索检查都同意答案为低风险时才接受答案，达到 91.9% 的汇总精度（相对于 69.7% 的全部接受率）。成本在于覆盖范围：它仅证明 7.7% 的答案为低风险。临床校准领域在自动判断下精度达到100%；这是域内自动标签上限，而不是临床安全声明，仍然需要人工验证。对 RAG 的信心是特定于对象的：当答案一致时，有用的问题是不信任管道的哪一部分。