通过定点迭代的一步 蒸馏 离散扩散图像生成器

离散扩散模型擅长视觉合成，但依赖于缓慢的迭代解码。现有的单步 蒸馏 方法试图绕过这个瓶颈，要么通过训练有效地加倍计算的辅助评分网络，要么通过引入专门的参数化和分段优化的多级管道。在本文中，我们介绍了定点 蒸馏 (FPD)，这是一种端到端框架，它通过部分破坏学生的一步草稿并通过单个教师步骤对其进行细化来构建局部校正目标。为了在语义上有意义的空间中计算训练目标，我们将离散标记提升为连续特征，并应用多带宽漂移损失来迭代累积这些校正。为了通过离散瓶颈进行反向传播，我们采用直通估计器，在前向传递期间向教师和解码器提供精确的硬采样词元，确保训练和推理在相同的码本流形上运行，同时将连续梯度路由回学生 logits。这种完全可微的路径还适应可选的无条件对抗目标，以增强感知现实主义。对类和文本条件生成的评估验证了我们框架的有效性。 FPD 在单个推理步骤内实现了有竞争力的视觉保真度和结构对齐，缩小了与多步骤教师的差距，同时优于现有的离散 蒸馏 基线。