论文

路径与流共同演化:用随机正则改善预训练生成模型的流匹配

Co-Evolving Paths and Flows via Path-Flow Alignment

模型训练监督微调与指令调优

摘要

我们研究路径流对齐作为流匹配的统一 训练 目标。我们没有固定插值路径并仅学习速度场,而是使用相同的对齐损失联合训练端点保留路径网络和流网络:流学习匹配路径速度,路径学习将其速度与当前流对齐。尽管每个固定的学习路径都定义了有效的流匹配目标,但对齐损失本身并不是路径学习的可靠标准。我们确定了路径过度拟合,这是一种故障模式,其中对齐损失减少,而样本质量恶化。我们发现这种失败与诱导概率路径中的低熵瓶颈有关,其中学习路径通过过度集中的中间边缘路由样本。受此诊断的启发,我们引入了随机路径正则器,它隐藏路径网络中的部分源信息,同时保留精确的端点。由此产生的正则化为随机 训练 路径边缘提供了显式熵下限,并根据经验抑制了学习采样器中的瓶颈,从而使联合路径流 训练 有效。在具有 SiT 骨干模型 的 ImageNet-256x256 上,我们的方法在模型尺度上持续改进 FID,扩展到模型指导 训练,并保持 推理时 架构和采样器不变。代码可在 https://github.com/lizeyu090312/traj_opt_paper 获取

路径与流共同演化:用随机正则改善预训练生成模型的流匹配:论文原图
图 1:在玩具混合物示例中学习到的 ODE 轨迹。顶部:标准流匹配、不带随机正则化 ($\rho=1$) 和带随机正则化 ($\rho_{t}=1-t$) 的路径流对齐,显示三次。底部:标准和非正则轨迹重叠。所有方法均从相同来源的样品开始。附录 F.4 提供了更多详细信息。