论文
离散平均流训练课程
Discrete Meanflow Training Curriculum
摘要
基于流的图像生成模型在使用多步采样程序时表现出稳定的训练并产生高质量的样本。一步生成模型可以产生高质量的图像样本,但可能难以优化,因为它们经常表现出不稳定的训练动态。平均流模型表现出出色的少步采样性能和诱人的一步采样性能。值得注意的是,实现这一目标的 MeanFlow 模型需要极其庞大的训练预算。通过注意到和利用平均流目标的特定离散化,我们显着减少了训练平均流模型所需的计算量和数据预算,该离散化产生了我们将其制定为“离散平均流”(DMF)训练课程的一致性属性。 DMF 课程使用预训练的 Flow 模型进行初始化,仅用 2000 个 epoch 在 CIFAR-10 上就达到了一步 FID 3.36。我们预计,Meanflow 模型的更快训练课程,特别是那些根据现有 Flow 模型进行微调的课程,将推动未来一步示例的高效训练方法。