检索增强生成的上下文优化：梯度下降视角

最近，上下文学习与线性自注意力模型中的隐式梯度下降相关，这表明上下文可以引发前向更新。检索增强生成（RAG）也依赖于上下文，但检索到的文档通常被视为静态证据而不是适应信号。我们将 RAG 作为上下文优化过程来研究。首先，我们证明一个线性自注意力层可以在覆盖基于投影和点积检索接口的统一线性化 RAG 目标上实现一个梯度下降步骤。这给出了检索增强预测和上下文优化相一致的精确机制。我们不使用此结果作为 LLM 计算的字面模型，而是作为调整查询和检索证据之间交互的指南。然后我们测试这种对应关系的边界：它在受控线性扩展下保持稳定，但在非线性架构下变得依赖于特征分布。最后，我们将此视图转换为冻结 RAG LLM 的轻量级方法。该方法保持 检索器 和主干固定，并预测对生成器端证据使用接口的上下文条件更新。在七个 QA 基准、两个 检索器 和两个冻结的 LLM 主干中，这种仅前向更新改进了共享接口基线，转移到保留任务，并以低得多的每次查询成本实现测试时梯度适应。