论文
失败:用于图像生成的流匹配对抗性模仿学习
FAIL: Flow Matching Adversarial Imitation Learning for Image Generation
摘要
流匹配模型的 后训练(将输出分布与高质量目标对齐)在数学上等同于模仿学习。虽然监督 微调 有效地模仿了专家演示,但它无法纠正未见过的状态中的政策漂移。偏好优化方法可以解决这个问题,但需要昂贵的偏好对或奖励建模。我们提出了流匹配对抗性模仿学习(FAIL),它通过对抗性训练来最小化政策专家分歧,而无需明确的奖励或成对比较。我们推导出两种算法:FAIL-PD 利用可微分 ODE 求解器来实现低方差路径梯度,而 FAIL-PG 则为离散或计算约束设置提供黑盒替代方案。 微调 FLUX 仅通过 Nano Banana pro 进行了 13,000 次演示,FAIL 在快速跟随和美学基准方面实现了具有竞争力的表现。此外,该框架有效地推广到离散图像和视频生成,并作为一个强大的正则化器来减轻基于奖励的优化中的 奖励作弊。代码和数据可在 https://github.com/HansPolo113/FAIL 获取。