稳定扩散中的记忆意外地由 CLIP 嵌入驱动

了解文本嵌入如何促进文本到图像扩散模型的记忆对于可解释性和安全性至关重要。本文研究了稳定扩散中 CLIP 嵌入的意外行为，揭示了该模型不成比例地依赖于特定嵌入。我们将输入标记分类为 <startoftext>、<prompt>、<endoftext> 和 <pad> 以及相应的嵌入 $\mathbf{v}^{\mathbf{sot}}、\mathbf{v}^{\mathbf{pr}}、\mathbf{v}^{\mathbf{eot}}， \mathbf{v}^{\mathbf{pad}}$。我们发现 $\mathbf{v}^{\mathbf{pr}}$ 对记忆案例中的生成贡献最小。相比之下，$\mathbf{v}^{\mathbf{pad}}$ 由于其结构重复 $\mathbf{v}^{\mathbf{eot}}$（CLIP 训练期间唯一显式优化的嵌入）而强烈影响记忆。这种重复无意中放大了 $\mathbf{v}^{\mathbf{eot}}$ 的影响，导致模型过度依赖它，从而驱动记忆。基于这些观察，我们提出了两种简单但有效的推理时间缓解策略：（1）将分词器的默认 <pad> 从 <eot> 替换为 !嵌入之前标记，并屏蔽 $\mathbf{v}^{\mathbf{eot}}$； (2) $\mathbf{v}^{\mathbf{pad}}$ 的部分屏蔽。两者都可以在不降低质量的情况下抑制记忆，并且无需事先检测即可轻松部署。