InstanceRSR：通过实例感知表示对齐实现真实世界超分辨率

现有的基于生成先验的现实世界超分辨率（RSR）方法在产生高质量和全局一致的重建方面取得了显着的进展。然而，他们经常难以恢复复杂现实场景中不同对象实例的细粒度细节。这种限制主要是因为普遍采用的去噪损失（例如 MSE）本质上有利于全局一致性，而忽略了实例级感知和恢复。为了解决这个问题，我们提出了 InstanceRSR，这是一种新颖的 RSR 框架，它联合建模语义信息并引入实例级特征对齐。具体来说，我们采用低分辨率（LR）图像作为全局一致性指导，同时联合建模图像数据和语义分割图以在采样过程中增强语义相关性。此外，我们设计了一个实例表示学习模块，将扩散潜在空间与实例潜在空间对齐，实现实例感知特征对齐，并进一步结合尺度对齐机制来增强细粒度感知和细节恢复。受益于这些设计，我们的方法不仅生成逼真的细节，而且在实例级别保持语义一致性。对多个现实世界基准的大量实验表明，InstanceRSR 在定量指标和视觉质量方面均显着优于现有方法，实现了新的最先进 (SOTA) 性能。