论文

通过斯坦因稳定减轻扩散常微分方程中的收缩陷阱

Mitigating the Contractivity Trap in Diffusion ODEs via Stein Stabilization

模型推理推理加速

摘要

扩散模型通过确定性概率流常微分方程 (PF-ODE) 轨迹进行的大步长推理中存在基本的张力,我们将其识别为收缩性陷阱:有效的推理有利于大步长,而激进的步长和高表达性降噪器可能会破坏基于收缩的误差抑制稳定性证明。为了解决这个问题,我们提出了 SteinDiff,这是一种逐步推理时间稳定框架,它采用 Stein 导出的校正,而不需要参考样本。具体来说,SteinDiff 引入了一种几何感知残差校正机制,可以在无需重新训练的情况下规范大步长求解器更新。为此,我们推导出用于逐步求解器调整的封闭式斯坦因校正系数,从而实现对局部数据几何的无参考适应。我们进一步建立了分布变化下的分数控制扰动界限,并为 EDM 式参数化提供了补充的 Stein 观点。大量实验表明,SteinDiff 可以减轻严重的伪影并提高大步推理设置的生成质量。