破碎的记忆：检测和减轻退化世代扩散模型中的记忆

虽然扩散模型擅长生成高质量图像，但它们记忆训练数据的倾向带来了重大的隐私和版权风险。在这项工作中，我们首次发现记忆会导致内部数字不稳定，通常表现为视觉上“破碎”的伪影。受数值方法中稳定性分析的启发，我们引入了基于潜在更新规范的经验稳定区域来定量表征生成过程中的稳定行为。利用这一点，我们提出了一个有原则的、动态的框架，用于逐步检测和自适应缓解。我们的方法在不改变提示或指导的情况下抑制记忆，从而保持语义保真度和图像质量。 Stable Diffusion 1.4 的大量实验表明，我们的方法在缓解后实现了 AUC $>0.999$ 检测性能和 $0.0\%$ 记忆率，开销可忽略不计（每张图像 $\approx0.01$s）。