微调 通过损失自适应学习率实现不遗忘

新数据上的 微调 大语言模型 提高了任务性能，但降低了预训练期间学到的能力，这种现象称为灾难性遗忘。现有方法通过修改 微调 目标来抑制高损失标记或序列来缓解这一问题，但这些标记对于学习新任务至关重要，尤其是那些预训练覆盖率较差的任务。在这种情况下，硬标记仍应有助于学习，因此必须控制遗忘，而不是抑制它们。我们确定了一个简单的机制来做到这一点：每一步的遗忘受到学习率和当前训练损失的平方根的乘积的限制。这表明高损失批次特别容易引发遗忘。受这一观察的启发，我们引入了 FINCH，这是一种损失自适应学习率计划，可降低高损失批次的学习率并随着模型收敛而增加学习率，同时保持 微调 目标不变。在知识获取、科学和低资源语言适应基准测试中，FINCH 平均将遗忘减少 93%，同时与标准 微调 的任务性能相匹配。在 Qwen3-4B 知识获取中，FINCH 将 TruthfulQA 退化降低了 5 倍，并逆转了 HaluEval 退化，同时更好地保留了置信度校准。总的来说，我们的结果表明，学习率计划是 微调 期间塑造模型行为的有效工具，而不仅仅是目标任务优化。