信任还是放弃？自我意识 RAG 方法

检索增强生成（RAG）通过结合外部证据改进了大语言模型（LLM），但当检索到的上下文知识（CK）和参数知识（PK）不一致或都不可靠时，它也会引入知识冲突。现有的方法主要协调使用哪个来源，而没有明确询问每个答案路径是否正确。我们认为，忠实的 RAG 需要 LLM 自我意识，即认识到自身知识和推理局限性的能力。为了解决这个问题，我们构建了一个特定于模型的、与 真值 对齐的知识冲突基准，方法是在每个主干上大约 69K 个查询上下文实例（来自五个冲突 QA 数据集）上评估仅 PK 和 CK 条件答案路径上的 LLM 主干。然后我们介绍 SABRE，这是一种 RAG 的自我意识信念估计器，不需要 LLM 微调。 SABRE 将多迹推理中的自先验与 PK 侧和 CK 侧条件推理表示相结合，然后使用两个轻量级预测器估计可靠性信念，以驱动关于信任 PK、信任 CK、信任或弃权的 4 单元决策。在四个 LLM 主干上，SABER 在十个推理时间和 微调 基线上提高了端到端准确性和特定于冲突的 忠实性，在冲突严重的数据集上收益最大。在弃权的情况下，SABRE 的风险覆盖曲线帕累托主导了每个基于提示的弃权者，在覆盖范围和回答风险之间提供了可调节的平衡。我们的代码可在 https://github.com/xizhu1022/SABER 获取。