旋转保持监督 微调

受监督的 微调 (SFT) 可以提高域内性能，但会降低域外 (OOD) 泛化能力。先前的工作表明，这种退化与预训练权重矩阵的主导奇异子空间的变化有关。然而，在 LLM 规模上，使用 Hessian 或 Fisher 信息直接识别损失敏感方向的计算成本很高。在这项工作中，我们建议在预训练的奇异子空间中保留投影旋转，作为 Fisher 敏感方向的有效代理，我们将其称为旋转保留监督 微调 (RPSFT)。 RPSFT 惩罚每个预训练权重矩阵的投影 top-$k$ 奇异向量块的变化，限制不必要的旋转，同时保留任务适应性。在数学推理数据训练的模型系列和规模中，RPSFT 改进了标准 SFT 和强 SFT 基线的域内/OOD 权衡，更好地保留了预训练表示，并为下游 RL 微调 提供了更强的初始化。代码可在 \href{https://github.com/jinhangzhan/RPSFT.git}{https://github.com/jinhangzhan/RPSFT} 获取。