1.x-Distill：打破分销匹配的多样性、质量和效率障碍 蒸馏

扩散模型可产生高质量的文本到图像结果，但其迭代去噪的计算成本很高。分布匹配 蒸馏 (DMD) 是实现少步 蒸馏 的一条有希望的路径，但当减少到两步或更少时，会遭受多样性崩溃和保真度下降。我们提出了 1.x-Distill，这是第一个小步 蒸馏 框架，它打破了先前小步方法的整数步约束，并将 1.x-步生成建立为蒸馏扩散模型的实用机制。具体来说，我们首先分析了教师 CFG 在 DMD 中被忽视的作用，并引入了一种简单而有效的修改来抑制模式崩溃。然后，为了提高极端步骤下的性能，我们引入了 Stagewise Focused 蒸馏，这是一种两阶段策略，通过保留多样性的分布匹配来学习粗糙结构，并使用推理一致的对抗性 蒸馏 来细化细节。此外，我们为 Distill--Cache co-Training 设计了一个轻量级补偿模块，它自然地将块级缓存合并到我们的 蒸馏 管道中。SD3-Medium 和 SD3.5-Large 上的实验表明，1.x-Distill 超越了之前的几步方法，分别在 1.67 和 1.74 有效 NFE 下实现了更好的质量和多样性，比原始速度提高了 33 倍28x2 NFE 采样。