LIFT 和 PLACE：一个简单、稳定、有效的轻量级扩散模型 知识蒸馏 框架

我们证明，在扩散模型的 知识蒸馏 中，教师网络的高度复杂的去噪过程（源于其更大的容量）对学生模型的忠实模仿提出了重大挑战。为了解决这个问题，我们提出了一个从粗到细的 蒸馏 框架，其中包含基于线性拟合的 蒸馏 (LIFT) 和分段局部自适应系数估计 (PLACE)。首先，LIFT 将目标分解为“粗略”对齐和“精细”细化。然后，在进行硬细化之前，学生将接受粗略对齐的训练。其次，PLACE 扩展了 LIFT，通过将输出划分为基于错误的组来解决空间不均匀错误，从而提供局部自适应指导。我们的实验表明，LIFT 和 PLACE 在扩散空间（图像/潜在）、主干网（U-Net/DiT）、任务（无条件/条件）、数据集，甚至扩展到基于流的模型（例如 MMDiT (SD3)）中都是有效的。此外，在130万个参数的学生（仅占教师的1.6％）的极端压缩下，传统的KD无法为稳定训练提供足够的指导，FID分数经常下降到50-200+，但我们的方法保持稳定收敛并达到15.73的FID。