论文
HarnessIR:编排多模态基础模型进行真实图像修复
HarnessIR: Harnessing Multimodal Foundation Models for Universal Real-World Image Restoration
摘要
现实世界的低质量图像遭受复杂的混合退化,包括但不限于噪声、模糊、大气效应等。最近的 Agentic 方法通常将现实世界图像恢复(Real-IR)建模为一个顺序工具,在特定于任务的单一退化恢复模型上调用问题。然而,这种范式从根本上是有限的,因为复杂的现实世界降级不能通过降级来完全消除降级,并且用于特定任务模型的工具限制了Agent系统的能力。在这项工作中,我们提出了 HarnessIR,这是一个用于 Real-IR 的 Agentic 框架,利用多模态基础模型 (MFM) 作为执行器。 HarnessIR由感知与诊断、按需工具调用、提示合成、执行、验证驱动细化五个阶段组成。与之前依赖于由特定任务模型组装的工具链的 Agentic Real-IR 方法不同,HarnessIR 将恢复要求、感知诊断和证据输入到 MFM 中,在单个 MFM 中执行恢复 通过,然后是验证阶段以确定结果是否值得进一步处理。在我们的利用下,现成的 MFM 可以很好地处理恢复任务,在广泛使用的 MiO100 合成基准上取得了最先进的结果。更重要的是,通过利用 MFM 强大的泛化能力,HarnessIR 在具有挑战性的现实世界场景中提供了令人信服的恢复质量,而以前的 Agentic IR 系统经常在这些场景中遇到困难。代码可从此 https URL 获取。
