无假分数网络的分布匹配 蒸馏

分布匹配 蒸馏 (DMD) 为少步生成提供有效的分布级别校正，同时依靠辅助假分数网络来跟踪不断演变的生成分布。最近的工作将 DMD 式目标与流程图生成器相结合，以利用前向发散训练和反向发散校正。假分数估计器仍然是一个具有内存和更新开销的附加组件。在这项工作中，我们研究当生成器本身具有流图结构时是否可以避免这种显式跟踪器。我们提出了 Fake-Score-network-Free DMD (FSF-DMD)，这是一种用于流图生成器的 DMD 公式，用生成器引起的伪速度代理代替辅助假分数估计器。关键的观察结果是，流量图生成器的端点伪速度为假速度估计提供了易于处理的代理，允许生成器本身提供反向发散信号。基于这一观察，我们得出了一个实际目标，通过流程图一致的向后模拟对其进行扩展，并引入了一种自学变体以从头开始训练。在我们的 ImageNet-1K $256 \times 256$ 实验中，FSF-DMD 改进了流图基线，在流图初始化设置中达到了比列出的 DMD2 比较更低的 FID，并且在流匹配初始化和从头开始训练下仍然有效。