扩散蒸馏分布匹配中的光谱幅度纯化

分布匹配蒸馏 (DMD) 只需几个步骤即可实现高质量扩散采样，但其优化动态仍然以粗略的低频信号为主，延迟了细粒度细节的恢复。我们发现 DMD 方向误差中低频频谱幅度明显集中，其中占主导地位的低频分量压倒了较弱的中频和高频信号。为了解决这个问题，我们提出了分布匹配蒸馏的频谱幅度纯化（SAP-DMD），这是一种即插即用的方法，可以自适应地调制 DMD 方向场的幅度频谱。通过抑制振幅谱的主导尾部，SAP-DMD 减少了低频主导地位并促进精细结构和纹理的更有效恢复。在 PixArt-$\alpha$、SD3 和 SD3.5 上的实验表明，SAP-DMD 在 2 步和 4 步采样下都可以加速训练收敛并提高生成质量。