论文
DirectEdit:基于流的图像编辑的步骤级精确反转
DirectEdit: Step-Level Accurate Inversion for Flow-Based Image Editing
摘要
随着大规模预训练文本到图像(T2I)模型的最新进展,无需训练 图像编辑方法取得了巨大的成功。通常,这些方法涉及通过反演过程向干净图像添加噪声,然后在正向过程中对重建和编辑路径进行单独的去噪步骤。然而,由于重建路径是使用不匹配时间步长的噪声潜伏来近似的,现有方法不可避免地会受到累积漂移的影响,这从根本上限制了重建保真度。为了应对这一挑战,我们系统地分析了 Transformer 流中的反演过程,并提出了 DirectEdit,这是一种简单而有效的编辑方法,可以消除固有的重建误差,而无需引入额外的神经功能评估(NFE)。与大多数尝试纠正反转路径的先前作品不同,DirectEdit 专注于直接对齐正向路径,从而实现精确的重建和可靠的特征共享。此外,我们引入了基于注意特征注入和多分支掩模引导噪声混合的保存机制,有效地平衡了保真度和可编辑性。跨不同场景的大量实验表明,DirectEdit 可以实现高效、准确的图像编辑,提供超越最先进方法的卓越性能。代码和示例可在 https://desongyang.github.io/Directedit 获取。