通过注意力掩蔽、潜在锚定和细化实现零样本对象移除

从真实图像中删除对象需要的不仅仅是在掩模内合成合理的内容：该方法必须抑制残留的对象特征，保留未编辑的场景，并生成与周围背景一致的替换内容。本文从基于阶段的角度来处理对象去除，并提出了一种使用冻结的预训练稳定扩散模型进行约束潜在修复的零样本框架，不需要特定于任务的训练或模型微调。该方法将基于 SAM 的掩码构建、BLIP 图像描述条件、DDIM 反演、背景加权掩码空文本优化、解码器自注意力掩码、硬外部掩码潜在锚定和局部噪声-降噪细化集成到统一的流程中。该方法通过定性示例、定量局部一致性指标和消融研究进行评估。结果证明了有效的对象删除和上下文一致的替换内容。消融表明背景加权掩蔽 NTI 对于结构复杂的背景特别有益，而无 NTI 变体在其他评估示例中就足够了。重复细化进一步减少了主要编辑过程后剩余的对象残留和边界伪影。