EMPURPLE：基于信息瓶颈的扩散免费午餐 蒸馏

扩散模型实现了令人印象深刻的图像生成质量，但在推理时仍然昂贵。扩散 蒸馏 减少了采样步骤，但许多精炼模型，包括 SDXL-Lightning 和分布匹配 蒸馏 方法，都受到 Fréchet 起始距离 (FID) 退化的影响。我们通过 PAC 式的泛化界限来分析这种现象。我们的分析表明，速度场的激进早期重定向使得 蒸馏 目标更难学习，从而扩大了训练与测试差距。因此，训练和推理之间的早期输出分布不同，导致用作下一步输入的中间噪声潜在变量的分布不匹配。我们通过显示中间特征和最终输出的多样性减少来实证验证这种机制。为了解决这个问题，我们提出了 EMPURPLE，这是一种简单的 无需训练 方法，可以回收从原始模型中采样的中间潜在变量。 EMPURPLE 与模型无关，可将 DMD2、Hyper-SD、FlashSD 和 SDXL-Lightning 的 FID 提高 7% 至 20%。仓库是：https://github.com/TheLovesOfLadyPurple/Empurple-无需训练-Algorithm-To-enhance-Diversity-of-The-Diffusion-蒸馏-Model