论文
检索即生成:具有自触发信息规划的统一框架
Retrieval as Generation: A Unified Framework with Self-Triggered Information Planning
摘要
我们通过将检索控制直接嵌入到生成中来重新审视检索增强生成(RAG)。我们没有将检索视为外部干预,而是在 词元级 解码中表达检索决策,从而无需额外的控制器或分类器即可实现端到端协调。在检索即生成的范式下,我们提出了 \textbf{GRIP} (\textbf{G}生成引导的 \textbf{R}etrieval with \textbf{I}nformation \textbf{P}lanning),这是一个统一的框架,其中模型通过控制词元发射来调节检索行为。 GRIP 的核心是 \textit{自触发信息规划},它允许模型决定何时检索、如何重新构造查询以及何时终止,所有这些都在单个自回归轨迹内。这种设计将检索和推理紧密结合起来,并支持动态多步推理和动态证据集成。为了监督这些行为,我们构建了一个结构化训练集,涵盖可回答、部分可回答和多跳查询,每个查询都与特定的词元模式保持一致。对五个 QA 基准的实验表明,GRIP 超越了强大的 RAG 基线,并且在使用更少参数的情况下与 GPT-4o 具有竞争力。