论文

HGSS:分层语义修正实现扩散模型组合概念抹除

Compositional Concept Erasure in Text-to-Image Diffusion Models via Hierarchically Grounded Semantic Surgery

模型推理解码与生成控制

摘要

从已部署的文本到图像扩散模型中删除受版权保护、不安全或用户指定的概念现在已成为实际需求。权重编辑方法可以抑制固定目标,但需要针对每个目标进行重新训练并修改模型检查点。另一方面,无需训练方法易于部署,但它们在组合提示上会遇到文本端路由失败的问题。在此类提示中,可以通过相关类而不是其词汇名称来调用擦除目标,并且其修饰符可以迁移到保留的对象上。本文提出了分层语义手术(HGSS),这是一种用于组合概念擦除的 无需训练框架。该框架提升了路由信号和文本端擦除所使用的编辑运算符。首先,分层跨度基础通过词汇、分类和语义证据解决擦除目标跨度,同时防止广泛上位词和复合头误报。其次,动态属性绑定通过反事实参考和保留感知的交叉注意目标细化了早期去噪期间的文本条件,保持幸存的属性名词绑定完整。 HGSS 有选择地删除擦除目标,而不更新模型权重或添加学习的参数。在 SEE 上,HGSS 将分层规避从 29.54 降低到 10.02,并将成对属性泄漏大致减半,在报告的擦除方法中实现了最佳 Neighbor E 和 AttrP 分数。在 UnlearnCanvas 上,HGSS 比匹配的语义手术基线略微提高了六度量平均值,达到了最先进的水平。

HGSS:分层语义修正实现扩散模型组合概念抹除:论文原图
图 1:组合概念擦除中的两个动机失败。上:在擦除目标“哺乳动物”下,先前的方法可以保留分层后代。下:在擦除目标“汽车”下,ESD可以保留目标,而SS将其删除,但将目标属性转移到保留的树上。 HGSS 删除了目标概念,同时保留了非目标内容。