论文

IDaS-SR:以反演与退化感知采样连接单步图像修复和生成

Bridging Restoration and Generation in One-step Diffusion for Real-World Image Super-Resolution

模型推理解码与生成控制

摘要

预训练的扩散模型彻底改变了现实世界的图像超分辨率 (Real-ISR),但其迭代采样在计算上却令人望而却步,推动了将其提炼为单个步骤的努力。一般的一步法将生成先验微调为确定性映射,恢复效率但丢弃其随机性。相反,最近的尝试通过改变时间步长或注入随机噪声、调整位置或状态而另一个保持固定来重新参与生成。由于仅控制一侧,因此两者以隔离的预设时间步长对齐,但一旦转向就会漂移,导致生成不稳定。为了解决这个问题,我们提出了通过 Real-ISR 的反演和退化感知采样(IDaS-SR)进行一步扩散,这是一种连接确定性恢复和随机生成的一步框架。其核心是,Manifold Anchoring 通过由 Manifold Inversion Noise Estimator (MINE) 联合估计的两个操作将低质量潜在表示锚定到预训练轨迹上:定位声明潜在表示位于何处以及它如何偏离干净状态,而反演则将潜在表示与声明的位置对齐。在锚点上,CHARIOT 通过联合重新安排轨迹和噪声插值来重新引入受控随机性,使单个标量能够顺利地实现保真度与真实感之间的权衡。大量实验表明,IDaS-SR 有效地释放了生成先验,在单个推理步骤的显式控制下实现了最先进的性能。