用于减少扩散模型中的曝光偏差的光谱先验

扩散模型通常会在迭代采样过程中遭受误差积累，通常称为曝光偏差。我们揭示了训练和推理之间系统性的频率相关差异，这可以解释为频率相关的 SNR 误差。至关重要的是，这种不匹配的方向因模型和时间步长而异，这表明固定的校正规则不能概括。我们提出了频谱对齐（SPA），这是一种轻量级的、基于指导的方法，可将中间预测的功率谱校准为预先计算的先验值。我们的方法由两个阶段组成：(1) 根据训练数据离线拟合参数频谱模型，(2) 通过基于 FFT 的高效梯度计算进行推理时间指导。 SPA 引入了最小的计算开销 (3-4\%)，并且是对无分类器指导 (CFG) 的补充。我们展示了跨不同架构的一致改进，从像素空间模型（DDPM、ADM）到潜在扩散模型（SD2.0、SDXL）和流匹配模型（SD3.5、FLUX）。我们的实施可在 https://github.com/SonyResearch/SPA 获取。