这有多难？硬度感知多目标忘却

机器去学习的目的是消除由于隐私、版权或偏见问题而导致的特定遗忘训练数据的影响，同时保持剩余保留数据的模型性能。现有的遗忘算法，例如优化损失的加权组合，试图实现提高遗忘质量和保持保留效用的目标。然而，他们并不保证这些目标能够针对所有遗忘和保留数据在指定程度上得到改善。在这项工作中，我们从约束优化的角度使用一种新颖且有理论基础的方法来解决这一限制。首先，我们发现协调两个目标的难度可以通过遗忘数据和保留数据之间的相似性来量化。接下来，我们推导出一种忘却算法（HAMU），其总体目标是通过根据我们的硬度测量更新模型权重，保证遗忘质量的指定改进，同时最小化保留效用成本/退化。我们的硬度测量还告知用户何时保留效用下降是不可避免的，即两个目标不能同时改进，并且应考虑停止。我们的算法适用于非凸模型，并且易于并行化，使其易于部署在现实场景中。我们使用大型模型凭经验证明 HAMU 在图像和文本数据集上的性能优于基线。我们的代码可在 https://github.com/aoi3142/HAMU 获取。