论文

PhoenixSR:将扩散先验蒸馏到无扩散超分网络

PhoenixSR: Generative Heterogeneous Distillation Unleashes Efficient Models for Real-World Super-Resolution

摘要

现实世界的图像超分辨率 (SR) 需要从复杂的低分辨率观察中恢复感知逼真的高分辨率图像,同时保留忠实的内容。基于扩散的 SR 受益于强大的生成先验,但会产生大量的计算开销,而前馈 CNN 和 Transformer SR 模型虽然高效,但通常难以恢复真实的高频细节。这引发了一个自然的问题:扩散先验是否可以转移到现有的无扩散 SR 网络,而无需在推理时引入扩散组件?为此,我们提出了 PhoenixSR,一种生成异构蒸馏框架,通过基于分数的分布匹配将扩散先验转移到独立设计的前馈 SR 网络。 PhoenixSR 使用预训练扩散模型作为分布级监督,而不是对齐异构特征或模仿采样扩散输出,而配对 SR 监督则保留了重建保真度。为了使分布匹配对保真度敏感的 SR 有效,我们引入了异质分布适应,它将目标分数适应 SR 域,改进对不断变化的学生分布的跟踪,并通过配对监督锚定训练。我们进一步采用定向可靠性加权,这是一种轻量级的基于残差一致性的重新加权策略,可以减少不稳定的分布指导。训练后所有与扩散相关的组件都被删除,保持原始的学生架构和推理成本不变。对三个 SR 基准和六个前馈骨干网(包括 SwinIR、HAT、Real-ESRGAN 和 SeeMoRe)的实验显示出一致的感知改进,并且很大程度上保留了重建保真度。

PhoenixSR把扩散生成先验蒸馏到无扩散超分网络,并展示图像与指标比较。
图1(图注摘要):PhoenixSR把扩散生成先验蒸馏到无扩散超分网络,并展示图像与指标比较。