遗忘能跨模态迁移吗？跨模态知识遗忘的现实评测基准

视觉-语言模型（VLM）如大语言模型（LLM），可能从其预训练数据集中记忆敏感、版权保护或有害的知识。清除此类知识对于构建可信赖的人工智能系统至关重要。然而，现有研究主要集中在单个模态内的遗忘上。尽管最近的研究已经开始探索在未学习数据集下进行跨模态一致性学习，但跨模态转移的现实世界知识遗忘仍不足为道。为了填补这一差距，我们引入了UNLINK-VL，这是一个用于VLM中的跨模态知识遗忘的现实世界基准。在后处理遗忘和保留数据集不可用的情况下，UNLINK-VL选择具有视觉标识的现实世界实体作为遗忘目标，并将它们与来自维基百科的一跳和多跳事实关联起来。基准分为四个互补子集，用于评估目标知识的直接遗忘、关系知识中的遗忘传播、相关但非目标知识的保留以及对语义等价查询的鲁棒性。我们训练模型在文本-仅和多模态未学习设置下，并在文本和视觉场景中评估遗忘效果和保留的实用性。广泛的实验揭示了跨模态转移的一个显著不对称性：在文本评估下，多模态未学习保持有效，而在文本-仅未学习的情况下，其效果较差。与此同时，评估的方法大多保留模型的通用能力。这些发现表明，仅依赖单个模态评估，特别是文本-仅评估，可能显著低估VLM中知识遗忘的有效性，强调了跨模态遗忘和评估的重要性。