论文
CiteGuard-RAG:以验证为中心的人工智能系统,用于循证问答
CiteGuard-RAG: A Validation-Centered AI System for Evidence-Grounded Question Answering
摘要
检索增强生成(RAG)可以改善对复杂信息的访问;然而,仅检索证据并不能确保答案有根据、引用有效或适当拒绝。本文介绍了 CiteGuard-RAG,这是一种以验证为中心的人工智能系统,用于进行基于证据的问答。该系统集成了混合语义词汇检索、引文约束生成、逐句证据验证和单遍再生。验证用于在运行时确定在最终交付之前是否应接受、拒绝或重新生成候选答案。 CiteGuard-RAG 针对受控住房法数据集、PrivacyQA 和 CUAD 中的 400 个问题进行了评估。在受控评估中,它实现了 99.1% 的检索准确率、98.3% 的基于证据的答案准确度和 98.3% 的引用有效性,并且没有验证检测到的幻觉。消融结果表明,当验证被删除时,即使检索准确性保持不变,基于证据的答案的准确性也会急剧下降。外部评估表明,虽然引文有效性仍然很强,但证据利用、跨度对齐和拒绝校准在领域转移下变得更加困难。这些发现表明,值得信赖的 RAG 系统需要在检索和最终答案传递之间进行明确的验证。 CiteGuard-RAG 提供了一个实用的架构,用于链接高风险信息访问中的检索、生成、引文检查、弃权和再生。