论文
后增强血流匹配
Posterior Augmented Flow Matching
摘要
流匹配 (FM) 训练一个与时间相关的向量场,该向量场将样本从简单的先验数据分布传输到复杂的数据分布。然而,对于高维图像,每个训练样本仅监督单个轨迹和中间点,产生极其稀疏和高方差的训练信号。这种约束不足的监督可能会导致流程崩溃,即学习到的动态会记住特定的源-目标配对,将不同的输入映射到过于相似的输出,从而无法泛化。我们引入后验增强流匹配(PAFM),这是一种基于理论基础的 FM 泛化,它用对给定中间状态和条件的有效目标完成的近似后验期望来取代单目标监督。 PAFM 将这个棘手的后验分解为 (i) 假设端点下的中间值的可能性和 (ii) 该条件下该端点的先验概率,并使用重要性采样方案来构建多个候选目标的混合。我们证明 PAFM 可以产生原始 FM 目标的无偏估计量,同时通过聚合来自每个中间体的许多合理连续轨迹的信息,显着减少训练期间的梯度方差。最后,我们表明,在不同模型规模(SiT-B/2 和 SiT-XL/2)、不同架构(SiT 和 MMDiT)以及类和文本条件基准(ImageNet 和 CC12M)中,PAFM 比 FM 提高了 3.4 FID50K,而计算开销的增加可以忽略不计。代码:https://github.com/gstoica27/PAFM.git。