论文

RealRestorer:通过大规模图像编辑模型实现可推广的现实世界图像恢复

RealRestorer: Towards Generalizable Real-World Image Restoration with Large-Scale Image Editing Models

模型训练监督微调与指令调优

摘要

现实世界退化下的图像恢复对于自动驾驶和物体检测等下游任务至关重要。然而,现有的恢复模型通常受到训练数据的规模和分布的限制,导致对现实场景的泛化能力较差。最近,大规模图像编辑模型在恢复任务中表现出了很强的泛化能力,特别是像Nano Banana Pro这样的闭源模型,可以在恢复图像的同时保持一致性。然而,利用这些大型通用模型实现这样的性能需要大量的数据和计算成本。为了解决这个问题,我们构建了一个涵盖九种常见现实世界退化类型的大规模数据集,并训练了一个最先进的开源模型,以缩小与闭源替代方案的差距。此外,我们还引入了 RealIR-Bench,其中包含 464 个真实世界的退化图像和专注于退化消除和一致性保持的定制评估指标。大量的实验表明我们的模型在开源方法中排名第一,实现了最先进的性能。