PixRestore：通过像素扩散统一图像恢复 Transformer

统一图像恢复（UIR）旨在使用单一模型从具有不同退化的低质量（LQ）图像中恢复高质量（HQ）内容。最近的方法采用大型预训练文本到图像（T2I）潜在扩散模型，因为它们具有强大的容量和生成先验。然而，潜在 T2I 模型中的变分自动编码器 (VAE) 可能会丢弃恢复敏感的细节，而开放式合成先验可能会引入内容不一致的伪影。我们提出了 PixRestore，一种用于 UIR 的无 VAE 像素空间扩散 Transformer (DiT)，其中扩散主干完全从头开始训练，而不依赖于 T2I 预训练。 PixRestore 直接对修补的像素执行流匹配，保留细粒度的细节，同时保持词元序列易于处理。为了适应不同的退化，PixRestore 学习使用 LQ--HQ DINO 特征相似度来预测层特征的可靠性。来自更可靠层的特征被融合为密集调节，而不太可靠的层则接受更强的 HQ 特征监督以鼓励退化消除。我们在包含不同场景和退化的大规模语料库上训练 PixRestore，并使用基于 DINO 的对抗目标将其进一步微调为一步生成器，以实现高效推理。公共基准测试和真实世界测试集的实验表明，仅用约 50M 个参数和单步推理，PixRestore 就在竞争的 UIR 模型中实现了最佳的整体保真度、感知质量和对退化的鲁棒性，同时效率更高。更大的 PixRestore 变体可以进一步提高性能，展示我们的像素空间设计的可扩展性。代码和策划的基准可以在 https://github.com/csslc/PixRestore 找到。