论文
关于视觉语言模型的机器遗忘的鲁棒性
On the Robustness of Machine Unlearning for Vision-Language Models
摘要
视觉语言模型（VLM）可能会记住训练数据中不需要的信息，从而激发人们对机器取消学习日益增长的兴趣。在这项工作中，我们首次对 VLM 遗忘进行系统调查和鲁棒性分析。我们提供了对现有 VLM 去学习方法的全面分类和回顾，以及多种提示设置下的统一评估。然后，我们提出了三种攻击范例，以检查是否可以通过上下文提示或下游再训练来重新激活被遗忘的多模态知识。大量的实验表明，许多现有的方法在这些攻击下仍然容易受到攻击，这表明当前的方法经常隐藏而不是完全删除目标知识。我们的研究为当前 VLM 消除学习方法的稳健性和局限性提供了新的见解，并强调需要更可靠的多模式消除学习策略。代码可在 https://github.com/XMUDeepLIT/VLM-UnL-Attack 获取。