论文

ResEdit:用于精确生成图像编辑的残留嵌入

ResEdit: Residual embeddings for precise generative image editing

应用与实践内容创作

摘要

条件扩散图像生成器可以通过反演重新用于编辑,而不需要大规模配对的 微调 数据。然而,在保持图像同一性和全局一致性的同时进行高质量、有针对性的编辑仍然具有挑战性,因为弱条件反演通常会将冲突的图像特征嵌入到噪声中。我们证明,将残差图像编码合并为附加条件可以提高身份保留和更好的可编辑性。我们优化了这种残差编码,为重建提供强大的调节信号,从而减少对反转的依赖和对其上述缺陷的敏感性。为了确保残差不会干扰所需的编辑,我们采用了基于梯度反转的优化策略,将残差与编辑条件分开。我们说明了我们的方法能够通过精确的基于内在的编辑和重新照明产生高保真结果,并展示概念验证文本引导操作。