GenDR-Pix 去除VAE以加速高分辨率图像修复

扩散模型在真实图像超分辨率任务上取得显著进展，但推理慢、设备资源需求高。GenDR等近期工作利用采样步数蒸馏，将推理压缩至一步；然而显存上限仍限制处理尺寸，高分辨率图像需要逐块修复。通过分析流水线，我们确定变分自编码器（VAE）是时延和显存瓶颈。为消除这一瓶颈，我们采用pixel-shuffle及pixel-unshuffle操作去除VAE，将潜空间GenDR改为像素空间GenDR-Pix。不过，八倍pixel-shuffle上采样可能产生重复纹理伪影。为减轻失真，我们提出多阶段对抗蒸馏，逐步移除编码器和解码器，并使用前阶段模型的生成特征指导对抗判别。随机填充用于增强生成特征、防止判别器坍缩；带掩码的傅里叶空间损失用于惩罚异常幅度。推理时结合基于填充的自集成与无分类器引导，改善推理扩展效果。实验表明，相较GenDR，GenDR-Pix实现2.8倍加速、节省60%显存，视觉质量下降可忽略，并优于其他单步扩散超分辨率方法；仅需1秒和6GB显存即可修复4K图像。