RefGC-SR$^2$：参考引导的超分辨率和人工智能生成内容的细化

参考引导生成（例如对象合成、定制）发展迅速，但当前的流程有一个基本限制：用户提供的以对象为中心的高分辨率参考图像（HRRI）在输入模型之前会被下采样到固定的低分辨率（LR），因此在生成输出之前细粒度的细节就被丢弃了。此外，生成步骤会在此损失之上引入其自己的工件（例如，身份失真）。现有的参考引导生成内容细化 (RefGCR) 方法可以纠正其中一些伪影，但仍然在 LR 域中运行；参考引导超分辨率（RefSR）方法恢复分辨率，但假设自然图像退化并忽略生成管道的伪影分布。为了解决单个公式中的两个差距，我们引入了一项新任务：参考引导生成内容超分辨率细化（RefGC-SR$^2$），其中原始 HRRI 在后处理阶段重用，以恢复丢失的细节、细化生成工件并同时升级输出。我们为此 RefGC-SR$^2$ 任务构建了第一个现实世界的三元组数据生成管道，训练双联条件生成器来合成公共预训练模型无法提供的配对低质量锚点。我们进一步提出了 RefGC-SR$^2$ 的频率感知扩散 Transformer 模型，该模型选择性地从 HRRI 注入精细细节，同时消除生成伪影。大量实验表明，我们的 RefGC-SR$^2$ 模型成功地 (i) 相对于参考忠实地完善了对象身份，并且 (ii) 恢复了高分辨率细节，因此与现有的 RefGCR 和 RefSR 基线相比，最终结果的质量显着提高，并且实际上更可用。