论文

EditCrafter:通过预训练扩散模型进行免调整高分辨率图像编辑

EditCrafter: Tuning-free High-Resolution Image Editing via Pretrained Diffusion Model

模型推理解码与生成控制

摘要

我们提出了 EditCrafter,这是一种无需调整即可运行的高分辨率图像编辑方法,利用预训练的文本到图像 (T2I) 扩散模型来处理图像,其分辨率明显超过训练期间使用的分辨率。利用大规模 T2I 扩散模型的生成先验,可以开发各种新颖的生成和编辑应用程序。尽管基于扩散模型提出了许多图像编辑方法并呈现出高质量的编辑结果,但它们很难应用于具有任意长宽比或更高分辨率的图像,因为它们只能在训练分辨率(512x512或1024x1024)下工作。天真的应用补丁式编辑会因不切实际的对象结构和重复而失败。为了应对这些挑战,我们推出了 EditCrafter,一个简单而有效的编辑管道。 EditCrafter 的操作方式是首先执行平铺反转,这保留了输入高分辨率图像的原始身份。我们进一步提出了一种噪声阻尼流形约束无分类器指导(NDCFG++),专为从反向潜在图像编辑高分辨率图像而定制。我们的实验表明,我们的 EditCrafter 可以在各种分辨率下实现令人印象深刻的编辑结果,而无需 微调 和优化。