通过忘记设置-释放遗忘来降低隐私风险

训练机器学习模型需要存储大型数据集，其中通常包含敏感或私人数据。存储数据与许多随着时间的推移而增加的潜在风险相关，例如数据库泄露和恶意对手。机器取消学习是对有效消除先前训练模型中训练数据子集影响的方法的研究。现有的遗忘方法通常需要直接访问“遗忘集”（要遗忘的数据），并且组织必须保留这些数据以进行遗忘，而不是根据请求立即删除它，从而增加了与遗忘集相关的风险。我们引入部分盲忘却——利用辅助信息来忘却，而无需显式访问遗忘集。我们还提出了一个实用的框架 Reload，这是一种基于梯度优化和结构化权重稀疏化的部分盲方法，用于实施部分盲取消学习。我们证明，Reload 可以有效地忘记学习，近似从头开始重新训练的模型，并且优于几种依赖于忘记集的方法。在语言模型上，在 Llama2-7B 上，Reload 在 8 分钟内使用 <0.025% 的保留集和 <7% 的模型权重来忘记实体。在纠正情况下，即使仅识别出 10% 的损坏数据，Reload 也能实现遗忘。