早期数据暴露提高了后续 微调 的稳健性

我们如何训练模型，使其训练后的能力能够在后续的 微调 中幸存下来？我们不是关注下游干预措施以减轻对上游能力的遗忘，而是研究上游训练选择（即获得能力的方式）如何塑造该能力保留的稳健程度。我们在受控的三阶段语言模型管道中研究这个问题：预训练、后训练 以获得目标能力，以及下游 微调 新目标。在 135M 和 1B 模型、两个 后训练 域和两个下游 微调 任务中，我们发现立即的 后训练 性能并不能可靠地预测后续 微调 后的保留：在 后训练 后立即看起来等效的训练配方可以在后续 微调 后以非常不同的方式保留目标能力。特别是，早期暴露 - 将 后训练 数据混合到预训练中 - 持续改善保留的上游性能和下游性能之间的边界。在计算匹配实验中，目标数据必须在预训练和 后训练 之间分配，我们发现最优值不在两个极端。与我们的其他实证和理论发现一起，这支持了这样的观点：后训练 推动了立即专业化，而早期接触提高了对以后遗忘的鲁棒性。重播和丢失通常用于减轻 微调 期间发生的遗忘，在 后训练 期间应用时，可以为早期暴露提供补充增益。我们的研究结果表明，后续 微调 的稳健性应被视为上游训练的首要目标，通过早期暴露等选择来预防性地解决，而不是在 微调 本身期间被动地解决。