基于扩散的真实世界图像超分辨率的高效难度感知动态路由

通过利用大型预训练稳定扩散（SD）模型作为强大的生成先验，基于扩散的方法在现实图像超分辨率（Real-ISR）中取得了令人印象深刻的性能。然而，这些方法仍然面临两个关键限制。首先，现有的基于 SD 的一步和多步 Real-ISR 方法对所有输入样本采用统一的处理范例，忽略了图像之间不同的恢复难度。其次，SD 模型中 VAE 的分辨率大幅降低（例如 8 倍下采样）会导致精细尺度细节的不可逆损失，而这些损失无法通过后续的扩散过程来恢复。为了解决这些限制，我们提出了一种难度感知动态路由（DDR）策略，该策略克服了僵化的、一刀切的处理范例。具体来说，我们首先设计一个难度估计器来预测每个输入图像的恢复成本，从而能够自动分配到适当容量的网络。然后，我们通过调制 SD 主干中 VAE 的空间下采样率构建一组具有不同模型容量的 Real-ISR 网络，从而为具有挑战性的情况保留更多高频信息，同时保持更简单输入的效率。大量的实验表明，与最近最先进的方法相比，所提出的模型具有卓越的效率和有效性。