TUDSR：两次上采样扩散以获得更高的超分辨率

基于扩散的生成模型在现实世界图像超分辨率（SR）方面取得了显着的成功。通过平铺扩散技术，这些模型可以生成超出其本机支持的分辨率的高分辨率图像。然而，这种高分辨率（例如 $2048^2$）输出的质量通常仍然非常差，主要是由于我们考虑的两个因素：图像上采样比率（例如 $\times8$）超过模型本机支持的上采样比率（例如 $\times4$），以及模型本机支持的分辨率。在实践中，训练原生高分辨率模型需要更大的架构，这会产生大量的计算开销和 GPU 内存成本，使得在资源有限的设备上变得困难。因此，我们提出了 TUDSR，一种用于更高 SR 的两次上采样扩散框架。 TUDSR 框架主要由两个阶段组成：第一个阶段涉及 $R$ 分辨率的训练，第二个阶段引入 $NR$ 分辨率的基于循环块的训练策略。每个阶段都采用由生成器和鉴别器组成的一步式 GAN 架构。基于SD2.1基础，我们开发了TUDSR-S，它在多个基准测试中实现了最先进的性能。大量实验进一步表明，TUDSR-S 可以生成分辨率为 1024^2$ 甚至 2048^2$ 的高质量图像，显着优于现有方法。代码可在 https://github.com/wuer5/TUDSR 获取。