有色噪声扩散采样

扩散模型实现了最先进的图像合成，其生成轨迹从根本上表现出光谱偏差，早期解决低频全局结构，稍后解决高频精细细节。传统的随机微分方程 (SDE) 求解器无法解释这种动态，在整个过程中天真地注入均匀的白噪声并滥用有限的能量预算。在这项工作中，我们建立了一个数学框架，将 SDE 推理重新考虑为有针对性的、频率解耦的能量传输。利用这个框架，我们引入了有色噪声采样（CNS），一种新颖的 无需训练 随机求解器。 CNS 不是注入均匀的白噪声，而是利用动态的、时间步长和频率相关的调度，更有效地将注入的能量分配给结构上未解析的频带。通过积极利用模型固有的光谱偏差，CNS 系统地引导生成的分布趋向真实的数据流形。大量实验表明，作为跨不同架构（SiT、JiT、FLUX）的严格即插即用、推理时间采样器替代，CNS 的性能显着优于标准 ODE 和 SDE 基线。与 ImageNet-256 上的标准采样相比，CNS 实现了无引导 FID 的大幅降低，SiT-XL/2 上从 8.26 提高到 6.27，JiT-B/16 上从 32.39 提高到 26.69，JiT-H/16 上从 11.88 提高到 8.31，同时在无分类器指导下产生一致的相对 FID 改进。项目页面位于 https://hadardavidson.github.io/CNS/。