论文
多带宽分布匹配蒸馏:论分布匹配蒸馏与漂移模型的等价性
Multi-Bandwidth Distribution Matching Distillation: On the Equivalence of Distribution Matching Distillation and Drifting Models
摘要
研究人员正在不断探索有效的一步生成模型,并且漂移模型(Deng et al., 2026)最近在一步生成方面展示了巨大的潜力。有一些工作揭示了扩散和流动风格生成模型(DFSGM)(Ho et al., 2020; Song et al., 2020a;b; Lipman et al., 2022; Liu et al., 2022)和漂移模型(Li & Zhu, 2026; Lai et al., 2026; Turan et al., 2026)之间的联系。但据我们所知,尚未有人在漂移模型和广泛使用的蒸馏方法——分布匹配蒸馏(DMD/DMD2)(Yin et al., 2024b;a)之间建立精确的对应关系,尽管它们的优化目标公式实际上是相同的。在本文中,我们证明,通过将预先训练的 DFSGM 中的速度场/噪声场转换为漂移模型中的吸引力场,并根据生成分布估计斥力场,训练漂移模型自然等同于分布匹配蒸馏。有了这个等价的概念,我们建议 从漂移模型的角度提出了一种基于DMD的改进方法——多带宽分布匹配蒸馏(MBDMD)。