从有害到有益：基于影响力的动态评估和编辑

数据评估是以数据为中心的学习的基石，之前的工作主要集中在设计算法以将训练样本分类为对学习任务有益或有害。然而，利用这些估值估计进行后续数据干预的探索仍未充分；传统方法通常会丢弃或减少有害样本，从而未充分利用可用的数据资源。在本文中，我们提出了基于动态影响的评估和编辑（DIVE），这是一种新颖且高效的框架，可以在批次级别动态估计样本值并将有害数据转化为有益贡献。 DIVE 不是改变原始数据，而是通过在训练期间战略性地反转有害样本的梯度方向来在优化级别上运行，确保以最小的开销与标准学习程序无缝集成。广泛的实证评估表明，DIVE 持续提高分类性能，最大化数据效率，稳定优化，并有效推广到 大语言模型 微调。