论文

当上下文误导时:用于鲁棒检索增强生成的意图引导解码

When Context Misleads: Intent-Guided Decoding for Robust Retrieval-Augmented Generation

模型推理解码与生成控制

摘要

检索增强生成(RAG)通过将生成基于外部证据来改进 大语言模型,但它也引入了源信任问题:检索到的上下文可能有用、不相关,甚至具有误导性。现有的 RAG 系统通常对检索到的证据应用固定的信任策略,当用户明确要求上下文跟踪行为时,可能会过度信任不正确的上下文或未充分利用上下文。因此,我们提出了意图引导解码(IGD),这是一个根据用户意图在检索到的上下文和参数内存之间进行仲裁的框架。 IGD 使用答案级过滤和 词元级 校正来引导检索到的上下文和参数内存之间的最终解码轨迹。我们在五个 LLM 的三个忠实 QA 基准和三个事实冲突基准上评估 IGD,IGD 显着提高了事实恢复,在事实冲突基准上比直接 RAG 实现了高达 65.4 个百分点的收益,同时保留或改进了严格的上下文跟踪行为,这一发现强调了在 RAG 中平衡事实和 忠实性 的重要性。