论文
条件很重要:扩散图像编辑中的稳定反转和注意力
Conditioning Matters: Stabilizing Inversion and Attention in Diffusion Image Editing
摘要
基于反转的图像编辑提供了灵活的 无需训练 控制,但仍然在反转精度以及编辑保真度和背景保留之间的权衡方面遇到困难。虽然最近的方法改进了反转公式或注意交互,但文本条件在塑造扩散动力学和编辑行为中的作用仍未得到充分探索。我们从经验和理论上证明,文本调节的精度通过调节扩散速度场的几何形状影响反转稳定性,同时也影响编辑过程中跨分支注意力的一致性。这些效果直接影响背景保留和语义保真度。在此分析的基础上,我们提出了 SimEdit,这是一个具有两个互补组件的条件感知框架:(a)条件细化,它构建了具有改进的语义精度和结构对齐的条件信号,以促进稳定反转和一致的注意力操纵;(b)标记式跨分支注意力控制,它分离编辑相关和结构保留组件,并在注意力操纵期间不对称地调制它们。 PIE-Bench 上的大量实验表明,与之前的注意力操纵方法相比,SimEdit 始终如一地提高了反转重建质量和编辑性能。我们的代码可在 https://github.com/zju-pi/SimEdit 获取。