论文

等路径成本为何产生不同输出:扩散扰动传播分析

Equal Path Cost, Unequal Output Effects: Understanding Perturbation Propagation in Diffusion Models

模型评测模型推理推理加速模型行为与机制分析

摘要

扩散模型在生成建模方面取得了显着的成功,其采样程序经常被修改以控制生成并提高效率。这些修改沿采样轨迹引入了扰动,从而提出了一个核心问题:此类扰动如何影响生成的输出?为了解决这个问题,我们开发了一个理论框架来研究扰动传播,将采样过程的动态分析与输出响应的信息论表征相结合。在此框架内,我们使用扰动轨迹分布和参考轨迹分布之间的 Kullback-Leibler (KL) 散度(称为路径成本)来量化扰动强度,该散度被证明会限制但不能确定输出分布的变化。在此分析的基础上,我们得出了一个响应恒等式,它将局部扰动的传播和累积与所选特征均值捕获的信息联系起来,解释了为什么输出分布的变化可能不会被其一阶响应检测到。我们 通过在预训练扩散模型中以相同路径成本进行受控干预来测试我们的理论分析,揭示跨采样阶段和空间频率的输出敏感性的不同模式。为了评估我们的框架是否可以诊断实际近似产生的扰动,我们将其应用于基于缓存的加速,并表明我们的传播分析可靠地识别缓存导致较大图像错误的采样间隔。