扩散模型的正交概念擦除

概念擦除已成为缓解扩散模型中不良或不安全内容的一种有前景的方法，但现有方法仍面临显著局限。基于训练的方法虽然有效，但其高昂的计算成本限制了可扩展性。基于编辑的方法更高效、更易于部署，但它们难以同时实现精确的概念擦除与整体生成能力的保持。我们将基于编辑方法的这一核心局限归因于其对加性参数更新的依赖。我们的实证分析揭示，概念语义主要取决于神经元方向而非神经元幅值，而整体生成能力则依赖神经元的角度几何结构。由于加性更新固有地纠缠了方向、幅值与角度几何，它们不可避免地在概念擦除与整体生成性能之间引入非预期的干扰。为此，我们提出正交概念擦除（Orthogonal Concept Erasure，OCE），从几何视角将基于编辑的擦除重新表述为乘性参数更新。具体而言，OCE将闭式解导出的逐层正交变换作用于参数，在保持神经元幅值与角度几何的同时实现精确的概念擦除。此外，为解决多概念擦除中的约束冲突，OCE引入了带结构化子空间操作的子空间级目标，带来更有效、更可扩展的擦除。在单概念与多概念擦除上的大量实验表明，OCE在概念擦除与非目标保留方面优于现有方法，可在4.3秒内擦除多达100个概念。代码：https://github.com/HansSunY/OCE。