论文

连续对抗平均流传输

Continuous Adversarial MeanFlow Transfer

模型训练监督微调与指令调优

摘要

由于两个原因,用有限的数据在新领域训练快速生成器仍然具有挑战性。首先,将预训练的扩散或流动模型适应新的领域,其昂贵的多步采样未得到解决,并且现有的加速方法与源参数化($ε$、$x$、$v$ 或 $u$)相关联,使得异构预训练模型没有共同的加速目标。其次,虽然对抗性细化被证明对少步质量有效,但它仅适用于瞬时速度流,不适用于 MeanFlow (MF) 模型预测的有限间隔平均速度。我们解决这两个问题。我们提出 MeanFlow-Transfer,它将异构源输出映射到共享速度表示,使用它从源权重初始化 MF 生成器,并优化目标域上的 MF 目标。这将各种预训练模型的适应和加速统一在单个训练循环中。然后,我们介绍连续对抗平均流,这是一个 后训练 阶段,它将连续对抗流模型从瞬时速度扩展到 MF 的有限间隔平均速度。 CAMF 对比真实区间端点和预测区间端点之间习得电位的变化,恢复 MF 回归平均掉的精细细节,并简化为消失区间极限中的瞬时标准。将四种基于 ImageNet 的源模型 - DiT ($ε$)、SiT ($v$)、JiT ($x$)、iMF ($u$) 调整到五个目标域,带有 CAMF 的 MF-T 与 FID 和 FDD 中的微调教师相匹配或超过,神经功能评估 (NFE) 减少高达 $125\times$,而 CAMF 将 MF-T 的少步 FID 提高了 $29\%$平均。