走向遗忘的一步：优化器历史与答案质量损失

在微调期间，语言模型可以为先前学习的答案分配较小的概率，即使当前的 梯度 会保留该概率。借助动量，每次更新还携带在早期模型状态下计算的 梯度，并且这些存储的贡献可以将模型推向相反的方向。我们研究了这个优化器记忆如何通过将旧任务丢失分为答案之间的混乱和答案集之外的概率泄漏来导致遗忘。在三个语言模型家族中，答案质量持续下降，而旧答案中的 区分能力 通常会有所改善：模型生成仍能正确区分的答案的可能性变得较小。分解 Adam 更新揭示了对答案质量损失的相反贡献。与训练相比，累积的历史有利于泄漏，而当前的 梯度 则相反。按年龄解析历史表明，有害贡献主要来自新任务的旧 梯度，而最近的 梯度 倾向于保护旧答案。历史效果的变化主要由其相对于旧任务 梯度 的方向决定。在匹配初始更新规范的同时重置动量的干预措施确定存储的历史会影响保留，具有依赖于状态的即时效果，并在较长的 Adam 延续中降低最终的旧任务损失，主要是通过恢复的答案质量。最后，沿着有限更新的积分表明，大多数采样的大损失增加是通过局部投影捕获的，而沿着历史的曲率放大了一些事件。总之，这些发现揭示了优化器的记忆如何削弱学习行为，即使其当前的 梯度 可以保护它。