论文
您预先训练的扩散模型秘密地知道恢复
Your Pre-trained Diffusion Model Secretly Knows Restoration
摘要
预训练的扩散模型使一体化恢复 (AiOR) 取得了显着进步,提供了改进的感知质量和泛化能力。然而,基于扩散的恢复方法主要依赖于 微调 或 Control-Net 样式模块来利用 AiOR 的预训练扩散模型的先验。在这项工作中,我们表明这些预训练的扩散模型本质上具有恢复行为,可以通过直接学习文本编码器输出的提示嵌入来解锁。有趣的是,这种行为在很大程度上无法通过文本提示和文本词元嵌入优化来实现。此外,我们观察到朴素提示学习是不稳定的,因为使用退化图像的前向噪声过程与反向采样轨迹不一致。为了解决这个问题,我们在扩散桥公式中训练提示,使训练和推理动力学保持一致,强制执行从噪声退化状态到干净图像的连贯去噪路径。基于这些见解,我们在预先训练的 WAN 视频模型和 FLUX 图像模型上引入了轻量级学习提示,将它们转换为高性能恢复模型。大量的实验表明,我们的方法在不同的退化过程中实现了具有竞争力的性能和泛化性,同时避免了 微调 和特定于恢复的控制模块。