论文
引导您的生成器:使用流程匹配进行不成对的视觉编辑
Bootstrap Your Generator: Unpaired Visual Editing with Flow Matching
摘要
现代生成模型对视觉内容有着深刻的理解,但训练它们进行图像编辑通常需要大量配对示例的数据集。这限制了可扩展性,特别是对于视频编辑来说,收集配对数据的成本非常昂贵。我们提出了 Bootstrap Your Generator (ByG),这是一个用于流匹配编辑模型的不成对训练的通用框架。它利用基本模型的知识,无需任何外部信号。我们的方法将从冻结模型中提取的指令跟踪线索与循环一致性相结合以保存结构。为了使这个过程变得容易处理,我们建议将梯度从干净预测的下游损失路由到嘈杂的训练状态。我们在具有挑战性的数据稀缺图像和视频编辑场景中展示了最先进的结果。广泛的评估和用户研究表明,我们的方法有效地推广到了看不见的领域,并且优于在数百万个样本上训练的监督基线。分析表明,我们的梯度路由弥合了训练推理差距,并且从基本模型中提取语义线索提供了强大的训练信号,从而消除了对外部奖励模型的需要。