UnAct：通过靶向激活干预实现梯度-Free 遗忘
UnAct: Gradient-Free Unlearning via Targeted Activation Intervention
摘要
机器遗忘寻求从训练模型中消除指定训练数据的影响，而无需从头开始重新训练。无重新训练方法，例如选择性突触抑制 (SSD) 及其无标签变体 LFSSD，避免完全重新训练，但仍然需要反向传播和在整个数据集上计算参数重要性。我们问：当删除请求到达时，只有几张该类的图像被遗忘，会发生什么？为了回答这个问题，我们引入了 UnAct，一种梯度-free 类遗忘方法，只需前向传递遗忘图像。 UnAct 根据后层单元的响应对其进行评分，削弱响应最灵敏的连接，并在不使用梯度、标签和保留数据的情况下重复此过程最多 20 轮。在使用 CIFAR-10、CIFAR-20 和 CIFAR-100 训练的 ResNet-18 上，UnAct 在忘记整个类别时与 SSD 和 LFSSD 具有竞争力，并且与它们不同的是，当忘记数据稀缺时，UnAct 永远不会崩溃网络。在 ResNet-18 上，在所有测试尺寸上，UnAct 的保留精度在重新训练后保持在 2.5 分之内，而 SSD 和 LFSSD 在其全级操作点上，在某些类别上损失高达 86 分。在 CIFAR-10 上有 5 个遗忘图像时，UnAct 到重新训练的距离为 0.21 点，而 LFSSD 为 67 点，SSD 为 90 点，并且使用预言机重新选择每个大小的 SSD 阈值并不能缩小差距。在向 ViT-B/16 的初步传输中，UnAct 的再训练距离为 11.5，而 SSD 为 33.7，并且当 SSD 在请求时计算其重要性时，请求比 SSD 快 19 倍。代码可在 https://github.com/abdulmuizz0903/UnAct 获取
