论文
归因方式,而不仅仅是归因:扩散模型的反事实响应轨迹
Attributing HOW, Not Just WHICH: Counterfactual Response Trajectories for Diffusion Models
摘要
扩散模型在图像生成方面取得了显着的成功,但将其输出追踪到单个训练示例仍然具有挑战性。现有的归因方法通常将特定因素的影响压缩为标量响应,从而使不同的内部变化难以区分。这对于扩散模型来说尤其受到限制,其中语义因素是通过去噪过程中不断演变的表示动态而出现的。因此,我们将扩散数据归因重新表述为归因因素引起的内部响应轨迹。在本文中,我们通过动态轨迹(CADT)提出了一种新颖的概念归因方法。因此,我们认为,归因不仅应该问\emph{哪些}例子很重要,而且\emph{它们的影响在生成过程中如何展现。具体来说,我们在相同的噪声状态下构建匹配的反事实对,以隔离特定于因子的表示位移,并将它们在去噪过程中的方向和幅度演化建模为动态归因签名。对于每个训练示例和生成的查询,CADT 提取 阶段式特征向量,并将它们沿着去噪过程整合以形成轨迹描述符。在训练集中应用相同的结构会产生一系列特定于因素的轨迹描述符。然后使用该银行的协方差统计来构造 。 CADT 使用这种协方差感知正半定核来校准查询和训练表示,并将校准后的查询轨迹与每个训练轨迹进行比较,以生成最终的训练样本归因分数。对多个公共数据集的实验表明,在分层、组合和风格归因方面,现有的扩散归因基线得到了一致的改进。