AutoAnchor：使用交叉注意力作为流形替代品进行稳定的扩散遗忘

扩散遗忘对于减少文本到图像模型中有害或受版权保护的内容的生成至关重要。当前的扩散遗忘技术通过使用目标概念的替代方案作为锚点或使用空提示来确定模型更新方向。基于锚点的方法依赖于手动和语义选择的锚点，这些锚点存在有偏差的失学习风险，而无锚点方法本质上会因不受约束的潜在更新而遭受不鲁棒的失学习问题。在这项工作中，我们从理论上在流形假设下形式化了这种不稳定的扩散遗忘问题，并证明缺乏流形近端锚不可避免地会导致显着的法向空间漂移，从而降低遗忘性能。为了实现稳定的忘却，我们提出了 \mysysn，一个自动合成流形近端锚的两阶段框架。然而，直接几何流形优化在计算上很困难。为了应对这一挑战，\mysys 引入了一种新颖的交叉注意一致性损失，它可以作为流形邻近度的高效替代品。实验结果表明，\mysys 在各种最先进的基线上有效地实现了稳健且公正的去学习，显着提高了目标概念删除（CLIP 得分高达 31.04\%）和非目标效用（CLIP 得分高达 4.18\%）。此外，\mysys 还可以轻松地集成到现有的扩散忘却方法中，以增强其忘却性能（概念删除平均提高 6.30\%，效用平均提高 6.65\%）。