掩盖目标：针对 LoRA 遗忘的即插即用正则化器

低秩适应（LoRA）已成为最广泛使用的 微调 机制之一，用于使 大语言模型 适应新的领域、任务和用户。然而，仅适应性能就可能掩盖一个重要的故障模式：LoRA 更新可能会提高目标分布的性能，同时会降低在预训练和对齐过程中学到的先验能力。我们表明，当适应分布与模型原始训练或对齐分布有很大不同时，这种遗忘变得尤其严重。在实际环境中，原始训练和对齐数据通常不可用，这一挑战会被放大。受此约束的启发，我们研究了基于 LoRA 的适应如何在无重放设置中平衡新学习和遗忘，并引入了一个可以直接添加到现有训练管道中的简单输出空间正则化器。我们的方法从基本模型分布和适应模型分布中删除 真值 标记，重新规范化剩余概率，并仅对非目标词汇表应用 KL 正则化。这保留了替代词元之间的基本模型相对偏好，而不直接反对适应所需的交叉熵信号。由于正则化器仅在丢失级别起作用，因此不需要重放数据、架构更改、适配器重新设计或推理时间开销，并且可以直接应用于现有的 LoRA 变体。在所有测试的 LoRA 变体和不同的骨干网中，当适应分布与基础模型原始训练或对齐分布有很大不同时，我们的方法改善了新学习和遗忘之间的边界，这表明了一种广泛适用的更可靠的 LLM 更新途径。