论文

各种尺度的一切:具有连续超分辨率的尺度不变扩散

Everything at Every Scale: Scale-Invariant Diffusion with Continuous Super-Resolution

应用与实践内容创作

摘要

从噪声中创建图像就是图像生成;从粗略输入中重建精细细节就是超分辨率。尽管存在实际差异,但两者都可以理解为跨尺度逆转信息丢失。我们引入$\textbf{SKILD}$,一个$\textbf{S}$尺度不变$\textbf{K}$-Space $\textbf{I}$mage $\textbf{L}$收益$\textbf{D}$iffusion模型,它将生成和连续超分辨率统一在一个无条件框架内。自然图像和关键物理系统都表现出尺度不变性,我们利用它来设计一个前向过程,将图像内容从细尺度衰减到粗尺度,同时注入频谱匹配的高斯噪声,使尺度成为扩散动力学的显式坐标。相同的经过训练的反向过程仅通过改变起始时间步来执行生成和连续超分辨率:$\textit{没有特定于任务的架构,没有条件分支,没有无分类器指导,没有每个比例因子的再训练}$。根据经验,SKILD 在无条件 CIFAR-10 上达到 FID $2.65$ 和 Inception Score $9.63$,从单个无条件检查点在 ImageNet 上执行 $2\times$--$8\times$ 超分辨率,同时在感知指标上优于条件模型,并重建关键的 Ising 模型,其连接的四点相关性密切跟踪 真值。