DriftSR：通过分布漂移实现一步式现实世界图像超分辨率

摘要

一步真实世界图像超分辨率（Real-ISR）提供了高效的推理，但恢复真实且感知丰富的细节通常依赖于分数蒸馏或对抗性学习，引入额外的可训练组件并使优化更加麻烦。为此，我们提出了 DriftSR，这是一种一步式 Real-ISR 框架，通过分布漂移来利用预训练的扩散先验。具体来说，我们在预训练扩散模型的冻结中间表示空间中执行漂移，而不引入额外的特定于任务的特征编码器。在此空间的基础上，我们引入了空间特征漂移，它将空间特征而不是整个图像视为分布样本，从而能够对分布对齐进行更密集的监督。为了减轻结构偏差，我们进一步引入了结构调制制导，它根据与 LQ 输入的局部结构一致性自适应地细化漂移制导。因此，DriftSR 仅优化单步生成器，没有辅助蒸馏分支或对抗性鉴别器。对三个现实世界基准的大量实验表明，DriftSR 可通过高效的一步推理提供高质量的超分辨率重建。

DriftSR：通过分布漂移实现一步式现实世界图像超分辨率的原论文方法或结果图 — 图 2：DriftSR 训练管道概述。给定 LQ 图像 $x_{L}$，$G_{\theta}$ 在重建监督下根据相应的 HQ 图像 $x_{H}$ 生成 $\hat{x}_{H}$。冻结的预训练教师模型从 $x_{H}$ 和 $\hat{x}_{H}$ 中提取多级潜在特征。这些特征被转换为正负空间样本以构建原始漂移场。对 DWT 低频分量应用相同的过程来构建低频漂移场。结构图$M$自适应地组合两个漂移场以获得用于计算漂移损耗的结构调制漂移场。在训练期间，只有$G_{\theta}$使用重建和漂移损耗进行优化。