文本到图像扩散模型中的邻居感知局部概念擦除

文本到图像扩散模型中的概念擦除旨在消除不需要的概念，同时保留整体生成能力。局部擦除方法旨在限制对目标概念占据的空间区域的编辑。然而，我们观察到抑制一个概念可能会无意中削弱语义相关的邻居概念，从而降低细粒度域的保真度。我们提出了邻居感知本地化概念擦除（NLCE），这是一个 无需训练 框架，旨在更好地保留邻近概念，同时删除目标概念。它分三个阶段运行：(1) 频谱加权嵌入调制，衰减目标概念方向，同时稳定邻近概念表示；(2) 注意力引导空间门，识别表现出残余概念激活的区域；(3) 空间门控硬擦除，仅在必要时消除剩余痕迹。这种邻居感知管道可以实现局部概念去除，同时保持周围的概念邻域结构。在细粒度数据集（Oxford Flowers、Stanford Dogs）上的实验表明，我们的方法有效地删除了目标概念，同时更好地保留了密切相关的类别。关于名人身份、露骨内容和艺术风格的其他结果表明了对更广泛的擦除场景的稳健性和泛化性。