通过联合解码保证知识集成以实现检索增强生成

检索增强生成 (RAG) 通过提供对外部知识的访问，显着增强了 大语言模型 (LLM)。然而，当前的研究主要关注检索质量，往往忽视了关键的“集成瓶颈”：即使检索到相关文档，LLM 也经常由于与其内部参数知识冲突而无法有效利用它们。在本文中，我们认为在单代中隐式解决这一冲突并不是最优的。我们引入了 GuarantRAG，一个明确地将推理与证据集成分离的框架。首先，我们仅基于参数知识生成“内部答案”，以捕获模型的推理流程。其次，为了保证忠实的证据提取，我们使用新颖的对比 DPO 目标生成“参考答案”。该目标将参数内部答案视为负面约束，将检索到的文档视为正面 真值，迫使模型在此阶段抑制内部幻觉，转而支持外部证据。最后，我们提出了一种联合解码机制，该机制不是简单的串联或直接使用 DPO 训练的模型，而是动态地将内部答案的逻辑一致性与 词元级 处的引用答案的事实精度融合在一起。五个 QA 基准的实验表明，与标准和动态 RAG 基准相比，GuarantRAG 的准确性提高了 12.1%，幻觉减少了 16.3%。