论文

HyperErase:按提示动态生成概念擦除 LoRA

HyperErase: Scale-Calibrated Hypernetwork for Multi-Concept Erasure in Text-to-Image Models

模型训练模型编辑与遗忘

摘要

文本到图像 (T2I) 生成的最新进展极大地改进了视觉合成,但由于它们可能生成有害或不良内容,也引发了越来越多的安全问题。现有的概念擦除方法主要遵循静态权重范式,产生单个冻结适配器,该适配器难以适应不同的提示变化,并且在扩展到多个概念时会受到参数干扰。我们提出了 HyperErase,一个基于超网络驱动的提示条件参数合成的概念擦除框架。我们的方法首先将概念擦除重新定义为提示条件参数摊销,并训练超网络将文本描述映射到提示特定的 LoRA 更新,从而消除了每个提示梯度优化或手动 LoRA 合并的需要。为了进一步提高合成适配器的稳定性和精度,我们开发了一种解耦校正策略,将 LoRA 词元分解为模式和尺度子空间,应用平方根变换来抑制乘性过度缩放,并利用教师导出的规范先验进行推理时间校正。跨主要概念类别的大量实验表明,HyperErase 始终如一地改善了擦除有效性、图像质量和语义对齐之间的权衡,实现了与黄金标准单概念基线相当的性能。此外,生成的模型可以为单次前向传递中的每个输入提示变化提供专门的 LoRA,而无需在推理过程中进行梯度更新。这些有原则且灵活的框架为 T2I 模型中的概念擦除提供了新的范例。

HyperErase用超网络生成提示特定LoRA,并进行参数分解与推理时校正。
图2(图注摘要):HyperErase用超网络生成提示特定LoRA,并进行参数分解与推理时校正。