不平衡下的忘却：多式联运中的公平基准 LLM 忘却

机器取消学习已成为一种从经过训练的模型中删除个人数据以遵守最新人工智能法规的工具。为了评估多模态 大语言模型 (MLLM) 中遗忘的有效性，先前的工作对虚拟身份的模型进行了微调，模拟对这些 ID 子集的遗忘请求，这些 ID 通常是均匀分布的。然而，在现实场景中，来自不同人口群体的人可能会以不同的频率请求取消学习，这可能会改变模型对这些群体的内部信念并导致有偏见的行为。为了填补这一空白，我们提出了 FAIRGET，这是第一个视觉问答基准，用于评估不平衡、现实、遗忘请求下的忘却情况。这些请求旨在模拟多种现实场景，从简单到具有挑战性的设置，如果不考虑公平性，就会导致有偏差的未学习模型。此外，我们提出了 FAUN，这是第一个 MLLM 的忘却算法，它会在保持模型公平性的同时忘记忘却数据。 FAUN 利用偏见感知激活引导机制来忘记身份，同时考虑到遗忘数据的不平衡性质。在 FAIRGET 和已建立的 FIUBench 上的实验证明了我们的方法在遗忘质量和公平性方面的优越性。