使用多级 Euler-Maruyama 方法对扩散模型进行多项式加速

我们引入了多级欧拉-丸山 (ML-EM) 方法，使用一系列逼近器 $f^1,\dots,f^k$ 来计算 SDE 和 ODE 的解，随着精度和计算成本的增加，仅需要对最准确的 $f^k$ 进行一些评估，并对成本较低的 $f^1,\dots,f^{k-1}$ 进行多次评估。如果漂移存在于所谓的“比蒙特卡罗更难”(HTMC) 机制中，即对于某些 $γ>2$，它需要 $ε^{-γ}$ 计算进行 $ε$ 近似，那么 ML-EM $ε$ 使用 $ε^{-γ}$ 计算来近似 SDE 的解，从而比 $ε^{-γ-1}$ 的传统 EM 速率有所提高。换句话说，它使我们能够以与单次漂移评估相同的成本来求解 SDE。在扩散模型的背景下，不同的级别 $f^{1},\dots,f^{k}$ 是通过训练大小不断增加的 UNet 获得的，ML-EM 允许我们以相当于最大 UNet 的单次评估的方式进行采样。我们的数值实验证实了我们的理论：我们在缩小到 64x64 的 CelebA 数据集上获得了高达四倍的图像生成加速，其中我们测量了 $γ\approx2.5$。鉴于这是多项式加速，我们预计在涉及更大数量级网络的实际应用中会有更强的加速。