通过嵌入损耗实现高效扩散 蒸馏

将昂贵的扩散模型提炼为高效的少步发生器的最新进展显示出巨大的前景。然而，这些方法通常需要大量的计算资源和延长的训练周期，限制了资源有限的研究人员的可访问性，并且现有的补充损失函数具有显着的局限性。回归损失需要在训练之前预先生成大型数据集，并将学生模型限制为教师的表现，而基于 GAN 的损失则受到训练不稳定的影响，需要仔细调整。在本文中，我们提出了嵌入损失（EL），这是一种新颖的补充损失函数，它补充了现有的扩散 蒸馏 方法，以提高生成质量并加速较小批量的训练。利用来自不同随机初始化网络集的特征嵌入，EL 有效地对齐了精炼的少步生成器和原始数据之间的特征分布。通过计算嵌入特征空间中的最大平均差异 (MMD)，EL 可确保稳健的分布匹配，从而在 蒸馏 期间保持样本保真度和多样性。在分布匹配 蒸馏 框架内，EL 展示了单步生成器的强大经验性能。在 CIFAR-10 数据集上，我们的方法在无条件生成时达到了最先进的 FID 值 1.475，在条件生成时达到了 1.380。除了 CIFAR-10 之外，我们还使用 DMD、DI 和 CM 蒸馏 框架，在多个基准测试和 蒸馏 方法（包括 ImageNet、AFHQ-v2 和 FFHQ 数据集）上进一步验证 EL，证明了对现有一步 蒸馏 方法的一致改进。我们的方法还将训练迭代次数减少了高达 80%，为在资源受限的环境中部署基于扩散的生成模型提供了更实用和可扩展的解决方案。