论文

MixFlow:混合源分布改善整流流

MixFlow: Mixed Source Distributions Improve Rectified Flows

模型训练预训练

摘要

扩散模型及其变体(例如整流流)可以生成多样化且高质量的图像,但它们仍然受到它们学习的高度弯曲的生成路径导致的缓慢迭代采样的阻碍。正如之前的工作所示,高曲率的一个重要原因是源分布(标准高斯)和数据分布之间的独立性。在这项工作中,我们通过两个互补的贡献来解决这个限制。首先,我们尝试通过引入 $κ\texttt{-FC}$ 来摆脱标准高斯假设,这是一种通用公式,它将源分布限制在任意信号 $κ$ 上,使其更好地与数据分布对齐。然后,我们提出了 MixFlow,这是一种简单但有效的训练策略,可以减少生成路径曲率并显着提高采样效率。 MixFlow 在固定无条件分布和基于 $κ\texttt{-FC}$ 的分布的线性混合上训练流模型。这种简单的混合提高了源和数据之间的一致性,以更少的采样步骤提供更好的生成质量,并显着加速训练收敛。平均而言,与标准修正流程相比,我们的训练程序将 FID 的生成质量提高了 12%,与固定采样预算下的先前基线相比,提高了 7%。代码位于:$\href{https://github.com/NazirNayal8/MixFlow}{https://github.com/NazirNayal8/MixFlow}$