论文
PC-Edit:快速对比区域发现和区域引导编辑
PC-Edit: Prompt-Contrastive Region Discovery and Region-Guided Editing
摘要
用类别或形状不同的对象替换对象需要完全删除源、不受源轮廓限制的自然目标形成以及保留不相关的内容。现有的 无需训练 编辑器可以在源和目标提示下本地化来自终端预测的编辑,或者通过空间上无选择性的源特征重用来保留不相关的内容,而无需显式区域发现。在到达最终预测之前,提示引起的语义差异会经历额外的网络转换,这可能会掩盖其空间定位,从而降低定位精度。空间上无选择性的特征重用迫使在编辑完整性和背景保留之间进行权衡。因此,我们提出了 PC-Edit,一个用于 无需训练 MM-DiT 编辑的提示对比框架。 PC-Edit 对比源提示和目标提示下的图像标记注意输出,直接捕获提示引起的语义差异,其中文本条件信息传递到图像标记。相同的对比度识别反演期间的源擦除区域和去噪期间的目标出现区域。它们的结合抑制了源残余物,同时允许目标物体自然形成。 PC-Edit 通过从前面的注意块估计当前编辑区域并立即在后续块中将缓存的源 K/V 特征注入到其外部,从而在潜在更新之前保护不相关的内容,从而进一步将每个采样步骤中的区域发现和背景保留结合起来。 PIE-Bench 和我们的 EditRegion-Bench 上的实验以及经过人工验证的用于单对象和多对象添加和替换的编辑区域注释表明,在没有用户指定编辑区域的方法中,PC-Edit 实现了最佳的编辑质量和背景保留。