论文
学习何时不听：语言模型的选择性抗干扰预训练
Learning When Not to Listen: Selective Anti-Interference Pretraining for Language Models
摘要
语言模型可能会对不相关的先前文本进行过度条件：当遥远的、不相关的前缀标记受到干扰时，本地上下文已经支持的预测仍然可能会发生变化。这种干扰在冗长、拥挤或干扰较多的环境中尤其严重，因为在这些环境中，有用的证据和不相关的跨度并存。我们提出选择性前缀抗干扰正则化（SPAR），这是选择性抗干扰的预训练目标。 SPAR 运行原始序列和损坏前缀输入，其中仅更改远前缀，然后使用短上下文充分性门和门控 KL 目标来稳定本地支持的后缀预测。该门可操作基于模型的估计，判断远前缀是否提供有关目标词元的附加信息。机制分析表明，门识别本地足够的词元，并急剧降低门选择的后缀词元的前缀敏感性。在预训练基础模型的持续训练中，SPAR 在等计数训练计算下改进了 Qwen2.5-0.5B、Qwen2.5-3B、Llama-3.2-1B、Llama-3.1-8B 和 GPT2-XL 上的 RULER；预训练实验进一步显示了 RULER 和 NoLiMa 的增益。这些结果表明，选择性抗干扰是稳健上下文使用的有效客观级信号。