SALMUBench：敏感关联级多模态遗忘的基准

随着 CLIP 等多模式模型成为下游系统的组成部分，删除敏感信息的需求变得至关重要。然而，对比训练的编码器的机器遗忘仍未得到充分探索，现有的评估无法诊断细粒度的关联级遗忘。我们引入了 SALMUBench（敏感关联级多模态取消学习），这是一个基于 60K 角色属性关联的合成数据集和两个基础模型构建的基准：受此数据污染的妥协模型和没有此数据的干净模型。为了隔离遗忘效应，两者都在相同的 400M 对保留基上从头开始训练，受损模型还在敏感集上进行训练。我们提出了一种新颖的评估协议，具有结构化的保留集（保留身份、保留关联），以精确测量遗忘效果和附带损害。我们的基准测试表明，虽然高效删除是可行的，但当前的方法表现出明显的失败模式：它们要么无法有效忘记，要么通过删除超出预期的内容而过度概括。 SALMUBench 为全面的忘却评估设立了新标准，我们公开发布我们的数据集、模型、评估脚本和排行榜，以促进未来的研究。