用于高效图像和视频生成的光谱渐进扩散

扩散模型已被证明可以在频域中隐式地自回归生成视觉内容，其中低频分量在去噪过程的早期生成，而高频细节仅在稍后的时间步长中出现。这种结构为高效生成提供了自然的机会，因为对噪声主导频率的高分辨率计算在很大程度上是多余的。我们提出了光谱渐进扩散（Spectral Progressive Diffusion），这是一个通用框架，可以沿着预训练扩散模型的去噪轨迹逐步提高分辨率。为此，我们开发了一种频谱噪声扩展机制，并从模型的功率谱中得出最佳分辨率表。我们的框架支持 无需训练 加速和新颖的 微调 配方，可进一步提高效率和质量。我们展示了最先进的预训练图像和视频生成模型的显着加速，同时保持了视觉质量。