学习率（如何）调节灾难性过度训练

受监督的 微调 (SFT) 是 LLM 后训练 的常见第一阶段，教导模型遵循指令并塑造其行为，成为有用的助手。同时，SFT 可能会损害 LLM 的基本能力，特别是在长时间预训练之后：这种现象被称为灾难性过度训练（Springer 等人，2025）。为了理解过度训练，我们首先通过学习率的隐式正则化的角度来研究微调中的灾难性遗忘。对于训练有相同 SFT 损失的模型，我们确定了学习率如何调节优化：大步和小步的微调会收敛到性质不同的模型。接下来，我们将遗忘与过度训练联系起来：学习率衰减会增加预训练模型的清晰度，进而加剧 SFT 期间的灾难性遗忘，从而导致过度训练。我们的研究结果描绘了 LLM 中的过度训练机制，并广泛有助于理解预训练和微调期间优化动态之间的相互作用。