利用事实置信度预测提高检索增强生成可靠性

通过检索增强生成 (RAG) 将特定知识融入 大语言模型 是一项广泛的技术，为当今许多行业人工智能应用提供了动力。一个基本问题是评估通过某些相似性搜索检索到的上下文是否确实提供了支持事实，或者是否用不相关的信息误导了生成器。将有关检索过程真实性的有意义的置信度度量与生成的答案相关联至关重要。我们提出了一种新的两阶段方法来预测检索增强生成的输出事实 忠实性。首先，我们采用保形预测来仅选择那些很有可能来自正确源的检索到的块。在一些研究的数据集中，这种方法本身可以将答案质量提高高达 6%，但是，相关的统计保证通常不成立，因为样本可交换性的假设取决于 检索器 设置。我们提供诊断指标来评估设置是否合适。其次，我们使用基于注意力的事实分类器量化生成的最终答案与给定检索上下文的一致性的置信度。此方法可以检测到不一致的答案，概率高达 77%。我们的工作有助于为广泛的自然语言行业应用建立一种新型的经过认证的 RAG 系统。