擦除角色，忘记知识：对大视觉语言模型中的多模式版权遗忘进行基准测试

在网络规模数据上进行训练的大型视觉语言模型（LVLM）存在记忆和重新生成受版权保护的视觉内容（例如字符和徽标）的风险，从而带来了重大挑战。机器遗忘提供了一条通过删除特定内容 后训练 来减轻这些风险的途径，但评估其有效性，特别是在 LVLM 的复杂多模态设置中，仍然是一个悬而未决的问题。当前的评估方法通常缺乏稳健性或无法捕捉跨模式概念擦除的细微差别。为了解决这一关键差距，我们引入了 CoVUBench 基准，这是第一个专门为评估 LVLM 中遗忘的版权内容而设计的框架。 CoVUBench 利用程序生成的、合法安全的合成数据，加上涵盖成分变化和不同领域表现的系统视觉变化，以确保对遗忘泛化进行现实和稳健的评估。我们全面的多模式评估协议既从版权所有者的角度评估遗忘功效，又从部署者的角度评估通用模型效用的保留。通过严格衡量这一关键权衡，CoVUBench 提供了一个标准化工具来推动 LVLM 负责任且有效的忘却方法的开发。