论文
为最小-最大遗忘保留中性代理
Retain-Neutral Surrogates for Min-Max Unlearning
摘要
机器取消学习旨在消除指定训练数据的影响,同时保留剩余数据的性能。近似遗忘可以被视为本地编辑问题;在最小-最大遗忘中,关键局部对象是评估保留目标的代理点。当遗忘和保留梯度强烈对齐时,无约束的遗忘最大化扰动可以移动到增加保留损失的替代点。我们提出保留正交代理遗忘(ROSU),它通过在固定扰动预算下零一阶保留变化来最大化一阶遗忘增益来限制内部代理构造。这产生了封闭形式的保留正交扰动、轻量级传输的外部更新以及沿保留中性方向的放大。我们的分析建立了(i)保留损伤的曲率控制二阶界限,(ii)正对准机制,其中 ROSU 相对于标准最小-最大扰动严格减少替代保留损失,以及(iii)当两个梯度几乎正交时接近等效。在视觉和语言基准(CIFAR-10/100、Tiny-ImageNet、TOFU、WMDP)中,经验模式遵循以下几何形状:ROSU 在高耦合状态下获得最明显的收益,同时在其他地方保持竞争力。