论文

BiFM:用于少步图像编辑和生成的双向流匹配

BiFM: Bidirectional Flow Matching for Few-Step Image Editing and Generation

应用与实践内容创作

摘要

最近的扩散和流动匹配模型通过迭代采样逐步消除噪声,在图像生成和编辑方面表现出了强大的能力。虽然这可以实现语义保留编辑的灵活反转,但少步采样机制的前向过程近似较差,导致编辑质量下降。现有的几步反演方法通常依赖于预训练的生成器和辅助模块,限制了跨不同架构的可扩展性和泛化性。为了解决这些限制,我们提出了 BiFM(双向流匹配),这是一个统一的框架,可以在单个模型中联合学习生成和反演。 BiFM 直接估计“图像$\to$噪声”和“噪声$\to$图像”方向上的平均速度场,受到从预定义的时间表或预训练的多步扩散模型导出的共享瞬时速度场的约束。此外,BiFM 引入了一种使用连续时间间隔监督的新颖训练策略,通过双向一致性目标和轻量级时间间隔嵌入来稳定。这种双向公式还可以实现一步反演,并且可以无缝集成到流行的扩散和流量匹配主干中。在不同的图像编辑和生成任务中,BiFM 始终优于现有的几步方法,实现了卓越的性能和可编辑性。