论文

ResetEdit:通过可重置的启动潜伏对生成的图像进行精确的文本引导编辑

ResetEdit: Precise Text-guided Editing of Generated Image via Resettable Starting Latent

应用与实践内容创作

摘要

扩散模型的最新进展使得高质量图像生成成为可能,从而导致对在保留全局结构的同时修改局部区域的生成后编辑的需求不断增加。实现如此灵活和精确的编辑需要一个高质量的起点,一个潜在的表示,它既提供各种修改所需的自由度,又提供细粒度、特定区域控制所需的精度。然而,现有的基于反演的方法(例如 DDIM 反演)通常会产生不令人满意的起始潜伏,导致编辑保真度下降和结构不一致。理想情况下,最合适的编辑锚点应该是生成过程中使用的原始潜在锚点,因为它本质上捕获了场景的结构和语义。然而,由于大量的存储和检索成本,为每个生成的图像存储该潜在图像是不切实际的。为了应对这一挑战,我们提出了 ResetEdit,这是一种主动扩散编辑框架,可将可恢复的潜在信息直接嵌入到生成过程中。通过将干净潜伏和扩散潜伏之间的差异注入扩散轨迹并在反演过程中提取它,ResetEdit 重建了一个非常接近真实起始状态的可重置潜伏。此外,轻量级潜在优化模块可补偿 VAE 不对称引起的重建偏差。 ResetEdit 以稳定扩散为基础,与现有的免调整编辑方法无缝集成,并在可控性和视觉保真度方面始终优于最先进的基线。