PRMU：多模式中以人为中心的知识遗忘的无语料库基准 大语言模型

多模态 大语言模型 (MLLM) 在存储和调用丰富的个人相关知识方面表现出了卓越的能力，引起了人们对可靠知识删除的日益关注。然而，现有的 MLLM 机器遗忘方法通常假设可以访问原始遗忘并保留语料库，而这在实际删除场景中通常不可用。为了解决这个限制，我们引入了 PRMU，这是一个在现实的以人为中心的删除请求下评估无语料库多模态遗忘的基准。 PRMU关注自然获得的与人相关的知识，并通过各种文本和视觉探针（包括对抗性评估和细粒度局部性分析）来评估模型是否可以去除目标知识，同时保留相关知识。为了促进这种情况下的研究，我们进一步引入了相似性门控投影编辑（SGPE），这是一种轻量级的无语料库的取消学习基线，具有知识位移、受保护的参数空间编辑和局部感知多模态控制。对代表性 MLLM 的大量实验表明，现有的遗忘方法经常遭受不利的遗忘局部性权衡，在激进的遗忘环境下局部性会显着退化，并且仍然容易受到多模态知识重新激活的影响。同时，SGPE 在目标遗忘、局部性保留和一般多模式效用之间提供了有竞争力的权衡。我们希望 PRMU 能够促进未来对现实且可扩展的多模式机器去学习的研究。代码和数据集将在 https://github.com/2231122/PRMU 发布。