用于少步生成建模的感知流匹配

我们提出了感知流匹配（PFM），这是一种简单而有效的框架，用于在流匹配模型中进行几步生成。 PFM 不是在传统的 VAE 潜在空间中执行速度回归，而是使用预训练的感知模型在感知特征空间中监督流量匹配。这个简单的改变极大地提高了流匹配模型的少步生成能力，将采样步骤数从 35-50 减少到 4-8，同时保持生成质量。与现有的加速和 蒸馏 方法不同，PFM 既不需要教师模型，也不需要辅助评分网络，并且可以通过最小的修改集成到标准流程匹配训练管道中。关于图像生成、视频生成和图像编辑任务的大量实验表明，与现有基于 蒸馏 的方法相比，PFM 始终能够产生高质量的结果，同时产生更少的伪影。我们进一步表明，感知监督将回归最小化器从均值寻求转变为模式寻求，使预测偏向在粗略的几步积分下保持准确的流形模式。我们的结果表明，当在适当的表示空间中进行监督时，标准流匹配训练可以自然地产生高质量的少步生成器。我们希望这一见解能够激发未来对高效生成建模的表示感知目标的研究。