论文

在长 CoT 监督下,数据重复胜过数据扩展 微调

Data Repetition Beats Data Scaling in Long-CoT Supervised Fine-Tuning

模型训练监督微调与指令调优

摘要

思想链数据上的监督 微调 (SFT) 是推理语言模型的重要 后训练 步骤。标准机器学习直觉表明,使用更独特的训练样本进行训练可以产生更好的泛化能力。与直觉相反,我们表明 SFT 从重复中受益:在固定的更新预算下,在较小数据集上进行更多时期的训练优于在较大数据集上进行单时期训练。在 AIME'24/25 和 GPQA 基准上,Olmo3-7B 在 400 个样本上训练 128 个 epoch,其性能比在 51200 个样本上训练 1 个 epoch 的效果高 12-26 个百分点,并且没有额外的灾难性遗忘。我们发现,当重复已经饱和时,训练词元的准确性会可靠地发出信号;完全记忆时的额外历元高原的改进,在所有设置中都是一致的模式。这些发现为推理 SFT 提供了一种实用的方法,其中以词元精度作为停止标准的缩放纪元可以取代昂贵的无向数据缩放。我们提出了重复优势,即完全记忆与泛化能力的提高相一致,作为社区理解 大语言模型 训练动态的一个新的开放问题。