论文

在流匹配模型中将生成的样本跟踪到训练数据集群

Tracing Generated Samples to Training-Data Clusters in Flow-Matching Models

模型评测模型行为与机制分析

摘要

了解哪些训练样本影响生成的图像是生成建模中的一个重要问题。在流匹配中,训练样本通过沿着生成轨迹的速度场影响生成的图像。移除样本以检查其反事实影响会改变速度场,对最终图像产生的影响取决于变化如何通过轨迹传播。因此,速度场的局部变化不一定能预测最终的反事实效果。这项工作通过混合分析学习方法研究流匹配模型中的归因,并使用它在集群级别得出基于轨迹的归因分数。我们使用独立再训练的留一簇(LOCO)模型评估这些归因分数,并使用两个不同的流匹配潜在空间与几个归因基线进行比较。我们的实验表明,语义相似性构成了强大的基线,而基于封闭式轨迹的归因在某些指标上具有竞争力,而无需反事实再训练或模型梯度。我们的结果表明,流匹配中的归因不仅取决于与训练样本的语义相似性,还取决于潜在表示、轨迹动态以及影响如何传播到最终输出。