基于轨迹的数据归因有多可信？错误来源、补救措施和实用指南

基于轨迹的数据归因方法通过展开训练轨迹来估计训练样本对模型预测的影响。它们广泛应用于数据选择、数据评估和模型诊断等应用，但缺乏对这些方法的全面错误分析，引起人们对方法 忠实性 的担忧并阻碍可靠部署。在这项工作中，我们首次对基于轨迹的数据归因中的错误源进行了系统分析，并提供了减轻错误的具体补救措施以及下游使用的实用指南。我们将总错误分为三类：配置级、算法级和系统级。我们做出三项贡献。首先，我们将优化器不匹配确定为主要的配置级错误：现有方法在 SGD 的假设下得出其归因，即使对于使用现代事实上的优化器 AdamW 训练的模型也是如此。我们提出 AdamW 影响力来充分考虑 AdamW 的优化动态，在跨越 MLP、CNN、GPT-2 和 Llama 3.2-1B 的四种设置中，估计影响力和 真值 影响力之间的 Spearman 相关性从 10% 提高到 300% 以上。其次，我们隔离了由一阶泰勒近似产生的剩余算法级误差，将学习率和轨迹长度确定为控制误差大小的因素，并导出一个封闭形式的误差代理，可以沿着原始轨迹进​​行评估而无需重新训练。第三，我们通过在 K 步前瞻框架下统一离线和在线策略，将这些见解转化为数据选择的实用指南。在此框架下，短视野的在线选择通常与离线选择相当或超过离线，并且最佳视野可以与学习率联合调整。总之，这些结果将框架变成了从业者的可行选择方案。