论文

TEASR:用于真实世界图像超分辨率的训练高效任意步扩散 Transformer

TEASR: Training-Efficient Any-Step Diffusion Transformer for Real-World Image Super-Resolution

摘要

扩散模型由于其强大的生成先验而在真实世界图像超分辨率(Real-ISR)中表现出色,但受到迭代采样缓慢的影响。尽管现有的一步 蒸馏 方法可以加速推理,但它们通常需要辅助教师模型,这些模型会增加训练内存并限制大规模架构的可扩展性。此外,这些固定步长模型缺乏在速度与质量之间进行权衡的灵活性。在本文中,我们提出了 TEASR,一种用于 Real-ISR 的训练高效的任意步骤扩散框架,可在统一模型内实现单步和多步恢复。我们的关键想法是在单一扩散模型中执行自我对抗 蒸馏,从而消除对辅助教师或鉴别器的需要。具体来说,我们提出了一种时间步感知的校正策略,可以稳定跨噪声水平的单步生成。这两种设计进一步在单GPU上实现了20B参数扩散模型的蒸馏,显着提高了训练效率。此外,我们引入了具有解耦时间步条件的双分支扩散Transformer,以分离当前噪声状态和去噪目标,以提高采样质量。大量实验表明,TEASR 支持无缝的任意步骤采样,并且在多个数据集上始终优于最先进的方法。