扩散模型中的遗忘：具有 KL 散度和似然约束的统一框架

扩散模型中的忘却旨在消除不需要的数据或概念，同时保留预训练模型的实用性——这是两个根本上相互冲突的目标。我们提出了一个有原则的约束优化框架，该框架将取消学习表述为最小化与预训练模型的偏差，并受到与取消学习分布的显式分离约束。具体来说，我们根据反向和正向 KL 散度以及似然约束制定了三个约束优化问题。前两种方法概括了现有的概念和数据遗忘方法，而第三种方法则提供了一种新颖且自然的遗忘方法。尽管 KL 约束具有非凸性，但我们为所有三个问题建立了强对偶性，使我们能够明确地将其最佳解决方案描述为遗忘目标，并为每个公式开发原始对偶算法。实验结果表明，与基于权重的概念和数据遗忘基线相比，我们的 KL 约束方法实现了卓越的保留-遗忘权衡，并且我们基于可能性的方法与遗忘有效性相匹配，同时与基线相比更好地保留了保留的概念。