论文
FoA-SR:忠实还是审美?针对真实世界图像超分辨率的配置文件感知偏好优化
FoA-SR: Faithful or Aesthetic? Profile-Aware Preference Optimization for Real-World Image Super-Resolution
摘要
尽管生成模型当前有能力为同一输入生成多个高质量重建,但现实世界的图像超分辨率(SR)通常设计为具有单个恢复目标。在本文中,我们认为最佳的修复策略取决于特定的修复概况:忠实修复优先考虑参考一致性、结构保留和幻觉抑制,而审美修复优先考虑视觉上令人愉悦和自然的细节。我们提出了 FoA-SR,一种基于配置文件的现实世界 SR 的新颖偏好优化方法。为了实现这一目标,FoA-SR 从我们基于 FLUX.2 的监督 SR 适配器 (Flux2SR) 开始,通过 LR 潜在调节、流匹配和图像空间重建损失进行训练,以实现配对的 LR-HR 图像超分辨率。随着共享监督超分辨率适配器的开发,FoA-SR 为每个输入图像生成一个共享随机候选池,并使用特定于配置文件的忠实和审美奖励对相同的候选者进行排名,以挖掘胜者-败者对。这些对用于微调单独的 LoRA 适配器,同时保持基本模型冻结。 RealSR 和 DIV2K 上的实验表明,FoA-SR 可以引导相同的 SR 适配器实现不同的恢复目标:忠实适配器改进了参考一致的指标,而审美适配器则提高了在没有参考的情况下测量感知质量的指标。我们的候选池分析表明,忠诚奖励和审美奖励经常选择不同的获胜者,而混合 LoRA 消融表明,将两种配置文件合并为一个奖励会产生隐式妥协,而不是显式配置文件控制。