MagnifiQ：补丁感知文本引导渐进式升级，用于高分辨率图像恢复

从降级输入中恢复高分辨率图像具有挑战性，因为它必须保持全局结构一致性，同时恢复细粒度的局部细节，特别是在 4K 分辨率下，基于扩散的直接恢复计算成本高昂，并且容易出现重复或不一致的纹理。在这项工作中，我们介绍了 MagnifiQ，这是一种图像恢复框架，可以逐步放大和恢复各种分辨率的图像，例如从 1024x1024 到 4096x4096。我们的方法利用预先训练的文本到图像扩散模型（例如 SDXL），并通过用计算成本随图像分辨率线性增长的卷积运算替换其原始自注意力层，使其适应更具可扩展性的高分辨率推理。我们进一步提出了一种渐进式升级策略，在多个分辨率阶段迭代恢复图像，细化每个中间输出，而不是直接幻觉最终的 4K 图像，从而提高全局一致性并减少高分辨率伪影。为了在控制内容漂移的同时增强局部细节，MagnifiQ 使用特定于补丁的文本提示，在恢复过程中提供空间局部语义指导。对合成和真实世界降级图像进行的大量实验表明，MagnifiQ 在感知质量和人类偏好方面优于先前基于扩散的恢复方法，产生更清晰的纹理和更连贯的 4K 结果，同时通过其可扩展的主干和渐进式设计提供实用的速度与质量权衡。