论文

ScaleResfusion:基于残差矢量场的残差整流流

ScaleResfusion: Residual Rectified Flow based on Residual Vector Field

模型训练参数高效训练

摘要

真实世界图像恢复 (Real-IR) 旨在从复杂且未知的退化中恢复高质量 (HQ) 图像。最近的基于扩散的方法大大提高了感知质量,但仍然存在两个障碍:从高斯噪声中采样的方法需要许多步骤,并且通常不太忠实于降级的输入,而从低质量(LQ)图像开始的基于残差的方法通常从头开始训练特定于任务的模型,优化目标与特定的噪声调度程序相结合,因此无法重用现代的预先训练的生成先验。我们提出了 \textbf{ScaleResfusion},它将残差恢复重写为独立于调度程序的适应接口,用于预训练的文本到图像校正流模型。其核心\textbf{残差整流流}(RRF)将残差项$R$插入到整流流的线性传输路径中,从而在精确的加速点从噪声LQ开始采样,其中起始状态的信噪比由残差比$γ$连续控制。由此产生的优化目标,\textbf{残差向量场},不包含特定于调度程序的系数,并且与预训练的整流流目标的区别仅在于残差偏移$γR$;因此,采用冻结的十亿级骨干网可以减少使用仅 LoRA 训练来拟合这种紧凑的残差校正。围绕 RRF 构建的知识 蒸馏 管道进一步将采样步骤减少至 4 个步骤。跨多个基准的真实世界超分辨率实验表明,ScaleResfusion 实现了最先进的恢复质量,并在预训练的整流流主干上从 2B 到 9B 参数一致地传输。