图像生成扩散模型中的正则化和福克-普朗克残差分析

摘要

最近的工作表明，使用去噪得分匹配 (DSM) 目标训练的扩散模型经常违反控制真实数据密度演化的福克 - 普朗克 (FP) 方程。直接惩罚目标函数中的这些偏差会降低其幅度，但会带来显着的计算开销。还观察到，严格遵守 FP 方程并不一定会提高生成样本的质量，因为通常通过较弱的 FP 正则化可以获得最佳结果。在本文中，我们研究了更简单的惩罚条款是否可以提供类似的好处。我们根据经验分析了几种轻量级正则化器，研究了它们对 FP 残差和生成质量的影响，并表明 FP 正则化的好处可以显着降低计算成本。我们的代码可在 https://github.com/OnnoNiemann/fp_diffusion_analysis 获取。