论文
SAM-Flow:用于 无需训练 图像编辑的源锚定掩模流
SAM-Flow: Source-Anchored Masked Flow for Training-Free Image Editing
摘要
无需训练 图像编辑最近引起了越来越多的关注,因为它能够使用强大的预训练扩散和流匹配模型来修改真实图像,而无需额外的训练。然而,现有的基于反演和基于差分流的方法通常执行全局潜在传输,这不可避免地将编辑效果传播到非目标区域并导致背景泄漏。为了解决这个问题,我们提出了 SAM-Flow,一种用于本地化 无需训练 图像编辑的源锚定掩码流框架。 SAM-Flow 首先使用侦察图像和基于标记的注意力图来定位可编辑的语义区域,而不是更新整个潜在表示。然后,它仅在这些区域内应用差分速度更新,同时将其余区域锚定到源图像潜在轨迹。为了进一步提高空间稳定性和边界自然度,我们引入了一种具有动态软掩模、过渡区域和时间掩模累积的时变源锚定投影机制。所提出的方法是即插即用的,可以与主流流匹配骨干网(例如Stable Diffusion 3和FLUX)集成,而无需任何微调。大量的定性和定量实验表明,SAM-Flow 实现了准确的语义编辑,同时显着改善了背景保留,为 无需训练 图像编辑提供了简单且通用的本地化编辑范式。代码位于:https://github.com/chwbob/Sam-Flow。