PRISM：基于偏好感知影响函数的高效数据选择方法 微调

随着LLM不断规模化，训练效率的提高在很大程度上依赖于数据的有效利用。数据选择通过将有限的训练预算分配给最有利于模型目标行为的高价值示例来缓解这个问题。大多数现有方法通过一组目标示例来定义目标行为，并根据候选训练数据对这些样本的估计影响对其进行评分。然而，此类方法统一将所有目标示例视为同等重要，而忽略了各个示例与模型优化的不同相关性。具体来说，与模型固有行为密切相关的目标示例会提供更强的监督信号，而不一致的示例只会产生微弱且无效的本地指导。我们提出了 PRISM，一种基于偏好感知影响函数的数据选择方法。它利用模型偏好为目标示例分配权重，并构建偏好感知的目标方向。 PRISM根据候选训练样本对该方向的影响力对其进行评估，并优先将数据预算分配给有效驱动模型匹配预期目标行为的样本。理论分析证明，与统一聚合策略相比，加权偏好构建可以产生优越的一阶梯度方向，从而提高目标偏好。涵盖不同模型架构和参数尺度的大量实验表明，PRISM 在高效 微调 和安全一致的监督 微调 整流中实现了更好的性能。结果验证了目标行为的准确表征是具有成本效益的数据选择的核心。