论文

扩散反演中的时间步重新安排

Timestep Rescheduling in Diffusion Inversion

模型推理解码与生成控制

摘要

扩散反演将图像映射回扩散模型的高斯潜在空间,是图像重建和编辑的关键任务。虽然 DDIM 可实现快速确定性反演,但它本质上会引入偏差,这些偏差会累积成明显的反演误差。现有方法通常通过解决定点问题来解决这个问题,但很大程度上忽略了噪声调度器中扩散时间步长的选择如何影响反演保真度。在这项工作中,我们揭示了扩散反演中的偏差尺度强烈依赖于时间步长,并呈现抛物线趋势,较大的误差集中在小时间步长和大时间步长处。基于这一发现,我们提出了一种简单而有效的非均匀时间步调度器,它将全局重新缩放与基于局部动态规划的重新调度相结合,从而实现计算工作的战略分配,从而最小化总体反演误差并保持更高的反演精度。我们的方法作为现有反演技术的现成增强,不需要额外的参数或计算开销。通过大量的实验,我们验证了集成调度程序能够持续提高现有反演方法的性能,从而在图像重建和编辑方面取得优异的结果。