忠实性-QA：用于训练上下文忠实的 RAG 模型的反事实实体替换数据集

检索增强生成（RAG）模型经常产生基于参数记忆而不是检索上下文的答案，从而破坏了检索增强的核心承诺。解决这种不忠实问题的一个根本障碍是缺乏明确要求模型更喜欢上下文而不是内部知识的训练数据。我们引入了 忠实性-QA，这是一个通过反事实实体替换构建的包含 99,094 个样本的大规模数据集。从两个已建立的提取式 QA 基准（SQuAD 和 TriviaQA）开始，我们自动识别每个上下文中包含答案的命名实体，将其替换为从 76,953 个实体的精选库中提取的类型一致的替代项，从而在上下文和参数记忆之间制造受控的知识冲突。严格的质量过滤可确保随机 200 个样本审核的四次自动检查的通过率达到 100%。我们发布了完整的数据集、构建管道和涵盖八个命名实体类别的类型化实体库。 忠实性-QA 被设计为基于注意力的 忠实性 目标的训练资源，并作为测量 RAG 系统中上下文基础行为的评估基准。数据和代码可在 https://github.com/qzhangFDU/忠实性-qa-dataset 获取。