SHIFT：用于减轻检索增强生成中的知识冲突的门调制激活转向

检索增强生成 (RAG) 通过合并外部知识来支持响应生成，从而增强了 LLM。然而，检索到的上下文和参数化知识之间的冲突已成为 RAG 系统中的一个关键挑战。为了缓解此类冲突，大量研究尝试识别和编辑与知识相关的内部神经元，旨在提高 LLM 在生成过程中依赖上下文证据的能力。然而，这些神经元级方法可能会引入意想不到的级联效应，从而损害 LLM 的一般功能，因为修改后的神经元通常与更广泛的模型行为和功能纠缠在一起。在本文中，我们介绍了 SHIFT，这是一种新颖的框架，它将神经元级修改重新表述为可学习的门调制，允许 LLM 自适应地调节内部激活以解决知识冲突。从技术上讲，我们的 SHIFT 为 LLM 配备了轻量级门模块，并优化了不到 0.01% 的可训练参数，同时保持骨干模型冻结。在生成过程中，门模块会调整模型的内部表示，以自适应地利用上下文和参数知识。对六个数据集进行的广泛实验验证了我们的 SHIFT 与各种竞争基线相比的有效性。所有数据集和代码均可在 https://github.com/OpenBMB/SHIFT 上获取。