论文
通过显式分布式控制稳定 LLM 受监督的 微调
Stabilizing LLM Supervised Fine-Tuning via Explicit Distributional Control
摘要
后训练 大语言模型 (LLM) 经常遭受灾难性遗忘，目标目标的改进会降低以前获得的能力。最近的证据表明，这种现象主要是由优化过程中过度的分布漂移造成的。受这个观点的启发，我们提出了锚定学习，这是一个简单的框架，可以通过动态演化的移动锚点显式控制离线 微调 期间的分布更新。锚点不是匹配固定的参考分布，而是在当前模型和冻结参考之间进行插值，以构建模型提炼的中间目标，将全局 微调 转换为分布空间中的局部信任域更新序列。理论上，我们证明这种基于锚的更新允许每次迭代都有一个线性 KL 散度上限，从而确保模型分布之间的稳定过渡。 iGSM、MedCalc 和 IFEval 上的大量实验表明，锚定学习始终位于增益稳定性权衡的帕累托前沿，与强基线相比，实现了接近最优的性能改进，同时大幅减少了性能下降。例如，虽然标准 SFT 在 iGSM 和 MedCalc 上的性能下降超过 53%，但锚定学习将这一下降幅度削减到 5% 以下，同时保持接近最佳的增益（例如，iGSM 上的性能下降 75.2%）。