一种用于持续 MLLM 忘却的模型合并方法

多模态 大语言模型 (MLLM) 去学习方法已被提出，用于从训练有素的模型中删除私有、敏感或专有信息。然而，大多数现有的 MLLM 遗忘方法都是针对一次性请求而设计的，无法充分解决连续场景，因为重复应用一次性操作会导致累积效用下降、遗忘反弹和保留漂移。我们引入了持续忘记学习（MCU）的合并方法，这是一种在收到每个新的忘记学习请求时动态地将多个一次性忘记学习适配器合并为统一适配器的方法。通过留一法合并分析，我们揭示了这些忘记学习适配器表现出很强的跨任务依赖性。这种依赖性有两种截然不同的效果：它们可以促进跨任务忘却可迁移性，但它们也可能引入严重的干扰，从而降低忘却的有效性并损害保留的知识。为了应对这一挑战，MCU 将适配器投影到共享表示空间中，保留其主导方向，抑制过度集中的坐标，并重新配置跨任务依赖性以减轻干扰，同时增强可转移性。 ICU-Bench 和 MLLMU-Bench 上的实验表明，MCU 实现了卓越的忘却效果，同时保留了保留的知识和一般的多模态实用性。