用于审计检索增强生成系统的分层一致性框架

检索增强生成（RAG）通常通过最终答案是否正确来评估。该测试是不够的：答案可以与其参考相匹配，而产生它的上下文包含直接矛盾，使得有争议的证据对于仅答案的审查和检索相关性分数来说是不可见的。本文提出了层次一致性框架 (HCF)，这是对 RAG 过程的三个不同级别的事后、与模型无关的审计：知识语料库、最终检索的上下文和生成的答案。 HCF 将语料库冲突表示为与源相关的原子事实，从而识别负责的文档，并返回每个答案一致性分数 (ACS)，并解释支持和矛盾的上下文陈述。我们在跨越五个领域和 100 个查询语料库实例的几个受控语料库上评估 HCF。人类评估者将每个生成的响应与其提供的真实响应进行比较。结果表明，三个诊断级别可以分离：平均检索相似度最高的语料库具有最低的平均 ACS，而结构退化的语料库在语料库级别表现较差，但在答案级别表现较好。最重要的是，HCF 在一些情况下识别出矛盾的检索证据，但答案仍然与基本事实相符。 HCF 不证明事实真相；它使支持和质疑答案的证据变得可检查和可归因。