DRIFT：通过 同策略 属性调整 LLM 指令的数据选择

指令调优的数据选择通常是为了效率而研究，用一小部分训练数据即可达到强大的性能。我们询问数据选择是否可以提高性能上限，从而产生比对所有可用数据进行训练更好的模型。为了测试这一点，我们采用已经在其完整语料库上完成监督 微调 (SFT) 的 大语言模型 (LLM)，并根据从同一语料库中选择的示例对其进行进一步训练。因此，任何增益都会将模型提升到全数据训练设定的上限之上。现有的选择方法在这种情况下几乎没有收益或没有收益。我们提出了 DRIFT (Data Refinement via 同策略 Influence Functions for Supervised 微调)，这是一种基于影响函数的数据归因方法。 DRIFT 对模型自身对验证查询的响应进行采样，并根据正确性对它们进行加权，以形成验证目标。它根据原始语料库的示例对这一目标的估计影响对其进行排名，然后模型继续对排名最高的子集进行 SFT。这种设计的动机是影响函数理论中的邻近间隙：我们假设这些 同策略 响应在局部性方面比外部参考是更好的验证目标。 DRIFT 还纠正每个验证任务中对梯度范数的依赖影响分数。 DRIFT 优于 Olmo3-7B-Instruct-SFT 和 OpenR1-Distill-7B 上所有评估的数据选择基线，将八个基准的平均准确度分别从 39.17 提高到 40.14 和从 57.23 提高到 58.66，并且在未用于归因的基准上有所提高。