论文
CATA:通过避免冲突的任务算法持续机器学习
CATA: Continual Machine Unlearning via Conflict-Averse Task Arithmetic
摘要
视觉语言模型(VLM)在协调视觉和文本表示方面表现出了卓越的能力,从而实现了广泛的多模式应用。然而,他们的大规模训练数据不可避免地引起人们对隐私、版权和不良内容的担忧,从而产生了对机器去学习的强烈需求。虽然现有的研究主要集中在单次遗忘上,但实际的 VLM 部署通常涉及随着时间的推移顺序删除请求,从而导致持续的机器遗忘。在这项工作中,我们首次尝试研究 VLM 的持续忘却,并确定了这种情况下的三个关键挑战:删除目标知识的有效性、保留保留模型效用的保真度以及在顺序更新下防止知识重新出现的持久性。为了应对这些挑战,我们提出了 CATA,这是一种避免冲突的任务算术方法,它将每个忘记请求表示为一个不学习的任务向量。通过维护历史任务向量并执行符号感知冲突规避聚合,CATA 抑制了可能削弱先前遗忘效应的冲突更新组件。单次和连续设置下的大量实验表明,CATA 在遗忘有效性、模型保真度和遗忘持久性方面优于基线。