论文
Z-Erase:在单流扩散中启用概念擦除 Transformer
Z-Erase: Enabling Concept Erasure in Single-Stream Diffusion Transformers
摘要
概念擦除是一种重要的安全机制,用于从文本到图像 (T2I) 模型中删除不需要的概念。虽然在 U-Net 和双流架构(例如 Flux)中进行了广泛研究,但该任务在最近出现的单流扩散范例 Transformer(例如 Z-Image)中仍然没有得到充分探索。在这个新范例中,文本和图像标记通过共享参数作为单个统一序列进行处理。因此,直接应用现有的擦除方法通常会导致生成崩溃。为了弥补这一差距,我们引入了 Z-Erase,这是第一个专为单流 T2I 模型量身定制的概念擦除方法。为了保证稳定的图像生成,Z-Erase 首先提出了一种流解耦概念擦除框架,该框架可解耦更新并在单流模型上启用现有方法。随后,在此框架内,我们引入了拉格朗日引导自适应擦除调制,这是一种进一步平衡敏感擦除与保存权衡的约束算法。此外,我们提供了严格的收敛分析,证明 Z-Erase 可以收敛到 Pareto 驻点。实验表明,Z-Erase 成功克服了生成崩溃问题,在各种任务中实现了最先进的性能。