论文
AdaEraser:通过自适应注意力抑制进行 无需训练 对象删除
AdaEraser: Training-Free Object Removal via Adaptive Attention Suppression
摘要
对象删除旨在从图像中消除指定的对象,同时用背景内容合理地修复受影响的区域。当前的 无需训练 方法通常在图像生成过程中阻止对自注意力层内的对象区域的注意力,利用周围的背景信息来恢复图像。然而,在空出的区域中不加区别地抑制自注意力可能会降低生成质量,因为模型必须同时重建这些区域中的背景内容。为了解决这一冲突,我们提出了 AdaEraser,这是一种自适应框架,可以根据目标对象概念的估计存在动态调节注意力。通过分析去除之前和去除过程中去噪时间步长的自注意力图演化,我们开发了一种 token-wise 自适应注意力抑制策略。这种方法可以在整个去噪过程中逐步感知物体去除,并自适应调整自注意力层的抑制强度。大量实验表明,AdaEraser 在对象删除方面实现了卓越的性能,甚至优于基于训练的方法。