论文
流量匹配中的速度缩放
Velocity Scaling in Flow Matching
摘要
最近表明,通过增益 $γ(t)$ 缩放学习的流量匹配速度场 $v_θ$ 可以极大地提高生成质量。之前的工作认为,用均方误差(MSE)训练的速度场系统地低估了速度大小,而缩放可以纠正这个错误。我们证明 MSE 训练不会造成速度幅度赤字。相反,我们发现速度缩放减少了群体时间滞后:模型时间 $t$ 的采样状态类似于早期时间的训练状态。速度缩放和模型时间回移是解决这种总体时间滞后的两种方法。跨架构和模型大小,测量群体时滞并使用它来选择增益可以极大地提高生成质量,在 NFE 25 的 ImageNet-256 上将 FID 从 28.0 降低到 12.2(通过邻近增益的 FID 测量之间的线性插值估计)。