前沿图像生成模型的概念去除

图像生成模型是在大量未经整理的互联网规模数据集上进行训练的，其中包含不需要的视觉概念。在不降低输出图像质量的情况下有效地从模型生成中删除这些概念仍然具​​有挑战性。我们为前沿扩散和图像自回归模型引入了一种新颖的概念去除方法，例如 SD3.5、Flux 和 Infinity。我们的干预措施用转码器取代了所有这些现代模型中存在的内部瓶颈层，转码器经过训练可以复制原始层，同时将其构造成不同的激活特征。这种就地替换创建了一个集成滤波器，通过该滤波器可以选择性地禁用特定于概念的信号，同时保留模型的其余行为。由于干预修改了模型主干而不是附加外部组件，因此它在白盒访问下保持持久性。根据经验，该方法在现代扩散和自回归模型中实现了最先进的概念去除性能，保持了视觉生成质量，提供了针对对抗性提示的鲁棒性，并支持顺序去除不同的概念。这使我们的方法成为前沿图像生成模型中概念去除的实用方法。