论文

擦除数千个概念:实现文本到图像扩散模型的可扩展且实用的概念擦除

Erasing Thousands of Concepts: Towards Scalable and Practical Concept Erasure for Text-to-Image Diffusion Models

模型训练模型编辑与遗忘

摘要

大规模文本到图像 (T2I) 扩散模型可提供卓越的视觉保真度,但由于它们能够复制不良内容(例如受版权保护的内容),因此会带来安全风险。概念擦除已成为一种缓解策略,但现有方法难以平衡可扩展性、精度和鲁棒性,这限制了它们的适用性,只能擦除几百个概念。为了解决这些限制,我们提出了擦除数千个概念(ETC),这是一个可扩展的框架,能够擦除数千个概念,同时保持生成质量。我们的方法首先通过学生 t 分布混合模型 (tMM) 对低秩概念分布进行建模。它可以通过仿射最优传输精确擦除目标概念,同时通过锚定目标概念分布的边界而保留其他概念,而无需预先定义的锚概念。然后,我们训练一个基于专家混合(MoE)的模块,称为 MoEraser,它删除目标嵌入,同时保留锚嵌入。通过将噪声注入文本嵌入投影仪和 微调 MoEraser 进行恢复,我们的框架实现了对模块删除等白盒攻击的鲁棒性。对跨异构领域和扩散模型的 2,000 多个概念进行的广泛实验降低了大规模概念擦除中最先进的可扩展性和精度。