论文
通过数据空间迭代进行少步生成
Few-Step Generation via Data-Space Iteration
摘要
流匹配已成为训练高质量生成模型的可扩展范例,但从学习的概率流中采样需要许多网络评估。蒸馏可以将这一成本降低到一次或几次评估;然而,一步生成往往会牺牲质量,使得少步生成成为实际的操作方式。现有的少步方法沿着概率流执行迭代计算,因此需要固定的、手动选择的时间步离散化。这种离散化通常是启发式选择的,并且调整成本很高;当样本或空间位置之间的细化难度不同时,它也可能受到限制。我们引入了数据空间迭代,这是一个完全消除流离散化的几步生成框架。从噪声开始,共享生成器直接在数据空间中细化其预测,每次迭代都经过训练以产生其容量允许的最佳样本。我们的配方与分布匹配蒸馏 (DMD) 相结合,变化极小,从而实现受控比较 匹配训练设置下的迭代方法之间。在类条件 ImageNet 256x256 上,数据空间迭代优于标准离散化基线,并匹配或改进通过计划搜索选择的变体,而不需要特定于计划的训练。这些结果表明,数据空间迭代为离散流空间迭代提供了一种简单有效的替代方案,以实现快速生成。