论文

开放词表域遗忘:检验擦除能否迁移到未见类别

Open Vocabulary Domain Unlearning

模型训练模型编辑与遗忘

摘要

视觉语言模型 (VLM) 表现出出色的零样本泛化能力,但它们经常编码不需要或危险的风格领域,例如医疗人工智能中的理想化教科书图表或自动驾驶中的卡通车辆。近似域遗忘(ADU)旨在有选择地消除模型对目标视觉域的识别,同时保留剩余域的准确性。然而,现有的 ADU 方法在有缺陷的封闭词汇假设下运行:它们仅根据在遗忘微调阶段看到的特定对象类来评估遗忘。因此,这些方法不会忘记领域本身;它们只是过度拟合可见的类域对,使得域很容易被看不见的类识别,并提供了移除的错误感觉。我们认为真正的域擦除必须是与类无关的。为了解决这个问题,我们正式制定了开放词汇领域遗忘(OVDU),这是一个严格的协议,要求领域遗忘必须转移到留出类别中。为了解决 OVDU 挑战,我们提出了一种手术参数编辑框架。首先,费舍尔信息掩码隔离了域敏感权重,从数学上保护了基础的零样本泛化。其次,我们的目标流形散射(TMS)目标使用基于偏好的挖掘来局部分散遗忘域的风格几何。经过 PACS、OfficeHome 和 DomainNet 的评估,我们的方法在现有基线上极大地提高了开放词汇泛化能力。至关重要的是,它提供了卓越的采样效率,仅用 4个样本就超越了 8个样本的峰值基线结果。

不同样本数下的开放词表域遗忘性能,比较方法的少样本效率。
图3(图注摘要):不同样本数下的开放词表域遗忘性能,比较方法的少样本效率。