MLUBench：面向MLLM终身遗忘评估的基准

摘要

多模态大语言模型（MLLM）是在海量多模态数据上进行训练的，这使得数据遗忘变得越来越重要，因为数据所有者可能会要求删除特定内容。在实践中，这些请求通常会随着时间的推移依次到达，从而引发 MLLM 终身忘却这一具有挑战性的问题。然而，大多数现有基准的规模和范围都有限，未能捕捉到 MLLM 终生遗忘的复杂性。为了填补这一空白，我们引入了 MLUBench，这是一个大规模、全面的基准测试，包含 9 个类别的 127 个实体，满足终身忘却的要求。我们使用 MLUBench 进行了广泛的实验，并揭示了现有的遗忘方法遭受严重的累积退化。更重要的是，我们进一步确定了这个问题的独特挑战：与单模态模型不同，MLLM 终身不学习受到保持多模态对齐的需要的限制。不断地放弃从一种模式中学习可能会降低整个模型的质量。为了缓解这一挑战，我们提出了 LUMoE，一种有效的方法。实验表明，LUMoE 显着缓解了基线面临的退化问题。源代码和 MLUBench 数据集在 https://github.com/lihe-maxsize/Lifelong_Unlearning_main 中开源。

MLUBench：面向MLLM终身遗忘评估的基准：论文配图 — 图 1：说明 MLLM 终生忘却的挑战。 (a) MLLM 经历连续的遗忘任务，它必须不断忘记特定的知识，同时保留其他信息。 (b) 在重复 GD（Liu et al., 2022）遗忘操作后，LLaVA 模型的输出退化，表明响应质量的累积损害。