用于具有扩散先验的任务驱动图像恢复的无噪声一步 LoRA

退化的图像不仅降低视觉质量，还会损害下游的高级视觉任务。任务驱动的图像恢复（TDIR）通过联合优化恢复质量和任务性能来解决这个问题。最近的研究表明，预训练的扩散先验有利于 TDIR，但基于扩散的恢复本质上是随机的，因为采样过程取决于随机噪声项，这可能会破坏任务的一致性。在本文中，我们表明，具有预训练扩散先验的确定性、无噪声一步前向传递可以显着提高 TDIR，但其好处主要取决于自适应模块：LoRA 产生一致的增益，而 ControlNet 式调节则不然。这使得单步转发超越了传统的多步扩散 TDIR 基线。此外，我们引入了一种保留任务的 GAN 训练策略，可以在不牺牲任务性能的情况下提高感知质量。关于分类、分割和检测的大量实验证明了与之前的 TDIR 方法相比具有一致的增益，并且我们进一步验证了对现实世界降级图像和 OCR 的概括。