论文
一致反转:保留结构的可视化编辑的反向一致性指南
Consistent-Inversion: Reverse Consistency Guidance for Structure-Preserving Visual Editing
摘要
文本引导的扩散模型已成为真实图像可视化编辑的有效工具,其中编辑的图像必须遵循目标指令,同时保留与编辑无关的结构。大多数 无需训练 编辑器依赖于反演:将源图像映射到噪声潜在轨迹,并将终端潜在轨迹重新用于目标提示去噪。这种重用对于保存很有用,但它也将源重建和目标编辑结合起来。由此产生的轨迹不匹配可能会损坏背景/布局细节或过度限制预期的编辑。本文提出了 Confluence-Inversion,这是一种用于保留结构的可视化编辑的 无需训练 逆向一致性指导框架。一致性反转并不将反转的潜在源视为固定初始化,而是检查中间目标轨迹是否可以在源提示下反转到源反转轨迹。为了明确定义此检查,我们构建了辅助目标侧噪声表示,执行源引导反向去噪,并使用所得的反向一致性差异作为所选早期目标去噪步骤的校正信号。该方法不更新模型参数,与基于反演的编辑器兼容,并且在稀疏应用时仅引入很小的推理开销。 PIE-Bench上的实验表明,一致性反演在保持目标提示对齐的同时,在统一的SD3.5协议下提高了背景和结构保真度,兼容性实验进一步验证了经典稳定扩散反演管道的相同校正原理。