论文
稳健性在哪里？检索增强语言模型的神经元引导适应
Where Does Robustness Live? Neuron-Guided Adaptation for Retrieval-Augmented Language Models
摘要
检索增强语言模型（RALM）在知识密集型任务中显示出强大的潜力，但当检索到的上下文有噪音或不相关时，它们仍然很脆弱。针对此类背景的稳健性需要两种不同的能力：当背景信息不足时放弃，以及当相关证据被淹没在噪音中时选择性提取。然而，现有方法面临两个关键限制：它们没有单独训练这两种功能，并且它们在粗略的层或模块级粒度上调整模型，忽略了对于给定输入只有一小部分神经元被强烈激活。我们提出 NeuRIT，一种基于本地化优先视角的神经元引导的鲁棒指令调优框架。 NeuRIT 挖掘与相关和不相关上下文处理相关的上下文感知神经元，并将它们用作锚点，以选择性地适应已识别的神经元组及其集中的层。然后，NeuRIT 执行两阶段指令调整，教授互补行为：当没有什么可提取时抑制生成，并在有相关证据时提取相关证据。 NeuRIT 在不同的 QA 基准和生成器主干中始终优于强大的基线。我们的代码可在 https://github.com/HYU-ARK-Lab/NeuRIT 获取。