论文

ReCouple:用粗粒度最优传输耦合后训练少步Flow Matching模型

Coarse-Graining Optimal Transport for Rollout-Free Post-Training of Flow Matching

模型训练模型推理监督微调与指令调优推理加速

摘要

Flow Matching主要取决于用于配对源样本和目标样本的耦合。最优传输 (OT) 耦合可以减少速度冲突并拉直轨迹;但在实践中,挑战仍然存在:源来自连续分布,只能访问有限数量的目标样本数据,并且神经网络的容量有限。由于这些原因,使耦合更像 OT 可能无法始终如一地提高采样质量,特别是在低函数求值次数 (NFE) 的情况下。受此启发,我们引入了 ReCouple,一个构建粗粒度 OT 耦合的可控框架,以更好地理解基于无需rollout的OT 的后训练。我们还考虑了这个基本框架的扩展:ReCouple+ 通过提高源分辨率,在适当极限下收敛到半离散 OT,将其扩展到连续源设置; ReCouple++ 进一步添加了空间正则化,其动机是观察到笔直轨迹未必对应空间简单的速度场。实证验证证明了这些方法的有效性,并揭示了耦合最优性、神经可实现性和生成质量之间依赖于 NFE 的相互作用。

ReCouple:用粗粒度最优传输耦合后训练少步Flow Matching模型:论文配图
图1:不同方法在不同函数评估次数(NFE)下,对二维多峰分布任务生成的样本。采用ReCouple系列进行后训练,可改善对目标分布各峰的恢复,尤其是在NFE较低时。