DKL：针对指令调整语言模型的解耦知识学习

RAG 已成为将新的、特定于语料库的知识合并到 LLM（指令 LLM）之后的指令中的事实上的方法。尽管基于 RAG 的提示可以改善事实基础，但当检索不正确或不完整时，它就会失败，从而导致幻觉。 RAFT 和 PA-RAG 等微调方法通过向模型参数注入新知识来增强 RAG，但需要生成覆盖整个语料库的大量合成 QA。文本语料库上的扩展 预训练 (EPT) 避免了全面合成数据生成的需要，但损害了指令 LLM 的指令跟踪功能，需要在 预训练 之后使用指令 微调 (IFT)。然而，IFT 成本高昂，并且由于无法获得指令调优语料库而可能不可行。在这项工作中，我们提出了针对指令调整语言模型的 DKL 解耦知识学习。 DKL 不是在指令 LLM 上执行 EPT，而是在其相应的基础 LLM 上执行 EPT 以注入新知识。然后将这些知识注入的权重与指令 LLM 合并，在不影响其指令跟随能力的情况下传授新知识。 DKL 是一种轻量级方法，避免了昂贵的指令 微调，并依靠模型合并将新知识注入到指令 LLM 中，而不破坏其指令跟踪能力。实证结果表明，DKL 在检索失败的情况下将 RAG 准确率从 54.17 提高到 79.26，同时在训练数据大幅减少的情况下优于先前的方法。