RAFT：域 微调 的数据细化和自适应 蒸馏 并减轻遗忘

特定领域的监督 微调 (SFT) 通常会以降低模型的一般功能为代价来提高域内性能。我们通过领域 SFT 中的两个实际差距来看待这种退化：监督兼容性差距，其中领域目标在风格和推理格式上与原始模型的自然响应不同；以及轨迹保留差距，其中教师强制 SFT 优化固定目标标记，而不限制模型在其自己生成的前缀上的行为。此过程无法保留模型的原始行为。我们提出了 RAFT（具有减轻遗忘功能的域 微调 的数据细化和自适应 蒸馏），这是一个解决这两个因素的两阶段框架。首先，RAFT通过自条件重写、语义过滤和答案融合构建模型兼容的监督。其次，RAFT 执行答案条件 同策略 蒸馏，其中原始指令调整模型在学生生成的轨迹上提供软目标，同时以融合答案作为有用上下文为条件。我们进一步引入 top-K 温度 蒸馏 和基于 EMA 的自适应损耗平衡来稳定域通用权衡。在三个指令调整的主干和五个域中，RAFT 比标准 SFT 提高了平均域精度 23.2%，同时恢复了 MS-Bench 和 IFEval 上 SFT 引起的部分退化，相对提高分别为 18.2% 和 10.2%。这些结果表明，将数据细化与轨迹级保存相结合，为领域 微调 提供了一种有效的方法，可以减少遗忘。