解耦知识与任务子空间以稳健组合参数式 RAG

参数检索增强生成（PRAG）将外部文档编码为轻量级参数模块，可以在推理时检索和合并这些模块，为上下文检索增强提供了一种有前途的替代方案。尽管有潜力，许多 PRAG 实现都会以任务监督目标来训练文档适配器，这可能会导致每个适配器对特定于文档的事实和可重用的任务解决行为进行编码。这种纠缠可能会降低适配器组合的可靠性：当多个适配器在推理时合并时，它们重叠的任务行为可能会与特定于文档的更新一起累积，从而可能使合并的适配器不太稳定，并且不太关注预期的文档知识。为了研究这个问题，我们探索了正交子空间分解（OSD），这是一种适配器训练设置，它将可重用的任务行为与特定于文档的知识适配器分开。具体来说，我们首先训练任务 LoRA 来捕获可重用的任务行为，然后训练文档 LoRA 在正交子空间中编码特定于文档的知识。此设置提供了一种受控方法来检查正交任务和文档 LoRA 更新如何影响多文档 PRAG 中的适配器组成。跨多个知识密集型任务和模型规模的实验表明，这种正交化策略可以提高参数 RAG 中的组合稳健性，尤其是在合并多个文档适配器时。