论文
稳健的持续忘却,防止知识侵蚀和遗忘逆转
Robust Continual Unlearning against Knowledge Erosion and Forgetting Reversal
摘要
作为平衡人工智能产业发展与隐私保护需求的手段,机器遗忘对于实现人工智能的“被遗忘权”发挥着至关重要的作用。这项技术使人工智能系统能够消除特定数据的影响,同时保留其余学到的知识。尽管人们对此进行了积极的研究,但大多数现有的遗忘方法都假设遗忘仅执行一次。在这项工作中,我们在更现实的场景中评估现有的遗忘算法,在这种情况下,我们识别出两个关键现象:(1)知识侵蚀,在遗忘阶段中保留数据的准确性逐渐下降;(2)遗忘逆转,以前被遗忘的样本在后期阶段再次被识别。为了应对这些挑战,我们提出了 SAFER(通过有效正则化保持稳定性的遗忘),这是一种持续的忘却框架,可以保持保留数据的表示稳定性,同时对遗忘数据强制执行负 logits 裕度。大量实验表明,SAFER 不仅可以减轻知识侵蚀,还可以减轻遗忘逆转,在多个遗忘阶段实现稳定的性能。