论文
路径与流共同演化:用随机正则改善预训练生成模型的流匹配
Co-Evolving Paths and Flows via Path-Flow Alignment
摘要
我们研究路径流对齐作为流匹配的统一 训练 目标。我们没有固定插值路径并仅学习速度场,而是使用相同的对齐损失联合训练端点保留路径网络和流网络:流学习匹配路径速度,路径学习将其速度与当前流对齐。尽管每个固定的学习路径都定义了有效的流匹配目标,但对齐损失本身并不是路径学习的可靠标准。我们确定了路径过度拟合,这是一种故障模式,其中对齐损失减少,而样本质量恶化。我们发现这种失败与诱导概率路径中的低熵瓶颈有关,其中学习路径通过过度集中的中间边缘路由样本。受此诊断的启发,我们引入了随机路径正则器,它隐藏路径网络中的部分源信息,同时保留精确的端点。由此产生的正则化为随机 训练 路径边缘提供了显式熵下限,并根据经验抑制了学习采样器中的瓶颈,从而使联合路径流 训练 有效。在具有 SiT 骨干模型 的 ImageNet-256x256 上,我们的方法在模型尺度上持续改进 FID,扩展到模型指导 训练,并保持 推理时 架构和采样器不变。代码可在 https://github.com/lizeyu090312/traj_opt_paper 获取
