LENS：低频特征噪声整形，实现高效扩散采样

蒸馏扩散模型通过减少去噪步骤的数量来加速图像生成，但通常会导致图像质量下降。为了减轻这种权衡，测试时优化方法提高了质量，但它们的迭代性质会产生大量的计算开销，并导致推理速度缓慢，从而限制了实际可用性。最近基于超网络的方法在训练过程中分摊了这个过程，但仍然需要在高维潜在空间中进行昂贵的噪声调制。在这项工作中，我们提出了 LENS（低频特征噪声整形），这是一种在低维子空间中运行的高效噪声调制框架。我们的方法的动机是观察到噪声的低频分量在很大程度上决定了生成图像的全局结构和视觉保真度。基于这一观察，我们提供了将调制限制在低频子空间的理论依据，并得出了原则性的训练目标。在此基础上，LENS 采用轻量级独立网络来选择性地调制这些组件，从而实现高效且有针对性的噪声调制。大量实验表明，与之前的方法相比，LENS 实现了具有竞争力的图像质量，同时将 FLOP 减少了 400-700$\times$，模型参数减少了 25-75$\times$，推理时间开销减少了 10-20$\times$。