论文
具有空间一致性解码的稀有感知离散扩散，可实现逼真的图像超分辨率
Rarity-Aware Discrete Diffusion with Spatially Consistent Decoding for Photo-Realistic Image Super-Resolution
摘要
连续扩散模型已成为照片级真实感图像超分辨率 (SR) 的主导范例，但它们通常将重建表述为连续信号级去噪，并通过外部调节模块合并语义先验。这使得利用现代多模式模型的统一的基于词元的扩展范式变得不那么直接。自回归模型通过将图像建模为离散视觉标记来提供更原生的语义表示，但其因果解码对于高分辨率重建来说效率低下。离散扩散通过对视觉标记进行非因果、并行预测，提供了一个有前途的中间立场。然而，由于两个特定于任务的挑战，直接将离散扩散应用于 SR 仍然很重要：（1）视觉标记的长尾分布，它不能充分代表罕见但感知关键的纹理； (2) 空间不一致的并行解码，这可能会引入孤立的伪影。为了解决这些问题，我们提出了 DiMOO-SR，一种用于逼真图像 SR 的稀有感知多模态离散扩散框架。在训练过程中，逆频采样 (IFS) 会优先考虑代表性不足但信息丰富的标记。在推理过程中，空间一致性排名（SCR）使用局部邻域协议来细化词元置信度，以提高结构一致性。对广泛使用的现实世界 SR 基准进行的大量实验表明，DiMOO-SR 只需几个并行解码步骤即可实现有竞争力的感知质量，凸显了离散扩散在生成图像超分辨率方面的潜力。该代码将在发布后发布。