来自现实世界低分辨率补丁的语言辅助超分辨率

单图像超分辨率旨在从低分辨率（LR）输入重建高分辨率（HR）图像。训练SR模型通常需要配对的HR-LR数据，这在现实中很难获得。因此，大多数方法都是通过手工制作的内核或相机 ISP 调整来人为降低 HR 图像的质量来合成 LR 图像。然而，这些合成降级无法捕捉真实 LR 图像的复杂性，导致实践中泛化能力较差。为了解决这个问题，我们观察到，即使在单个高质量图像中，不同深度的区域也表现出不同的分辨率，其中远处的区域充当 LR 补丁，而较近的区域充当 HR 补丁。这允许从真实图像中提取真实的、退化引起的 LR 块。由于这些 LR 补丁缺乏配对的 HR 对应项，因此我们提出了 LA-SR（SR 语言助手），这是一种针对未配对 SR 的新颖框架。 LA-SR 的关键思想是重新定义语言空间中不成对的 SR，使用视觉语言模型来弥合 LR-HR 差距。 LA-SR 将图像投影到代表内容和质量的语义丰富的空间中，并应用两种语言引导的损失：保持语义保真度的语言内容损失和增强感知真实性的语言质量损失。通过这种对齐方式，LA-SR 有效地超解析了真实的 LR 输入，产生了现实的输出，克服了合成数据训练方法的局限性。