论文

目标:锚定身份特征,然后匹配多模态 大语言模型 Unlearning

AIM: Anchor Identity Features, Then Match for Multimodal Large Language Model Unlearning

模型训练模型编辑与遗忘

摘要

多模式 大语言模型 (MLLM) 可以在 微调 数据中记住有关人员的特定身份事实,当有人请求删除时,会产生隐私风险。现有的 MLLM 遗忘方法通常假设在删除过程中保留图像或 真值 答案,这在许多实际场景中是不现实的。当保留图像在删除时不可用时,我们研究身份遗忘。我们的分析表明,身份和视觉感知问题在微调隐藏状态中占据不同的区域,并且组织方式不同:身份问题按人聚类,而感知问题按问题类型聚类。这表明身份知识可以在不消除一般视觉感知的情况下被抑制。基于这一观察,我们提出了 AIM,这是一种两阶段方法,通过通用视觉提示锚定忘记身份的目标,然后在基于 Fisher 的约束下将视觉编码器与该目标进行匹配。大量实验表明,AIM 实现了竞争性身份遗忘,同时保留了同一图像上未删除的身份、先验知识和视觉感知。