Unmerge：通过任务算法实现高效的机器取消学习

近似机器遗忘旨在消除训练模型中遗忘集的影响，而无需完全重新训练。现有的基于梯度的方法需要依赖于数据的超参数搜索，当忘记和保留知识纠缠在一起时会很困难，并且无法深入了解网络内部遗忘实际发生的位置。我们通过任务算术的视角重新构建遗忘：如果微调产生一个合并任务向量$τ_m$，它结合了遗忘和保留集的学习，那么遗忘就是减去学习的遗忘分量$τ_F$以恢复保留任务向量$τ_R$的逆操作。遗忘信号是集中的：在每一层，遗忘激活位于由少数主导方向跨越的子空间中，因此我们在低秩遗忘基础中分解$τ_F$，该基础忠实于小的尾部特征值残差，并限制了校正可以扰乱保留的程度。然后，我们优化三个直观的目标（匹配遗忘范围内的合并向量，抑制泄漏到保留范围中，并限制校正大小），这些目标可证明限制遗忘泄漏并保留激活空间中的损坏。由此产生的算法 Unmerge 快速而强大：在 CIFAR-100 和 Tiny ImageNet 上使用 ResNet-50 进行类级取消学习时，它比可比运行时间的基线提高了约 24%，比运行速度慢约 5 倍的更强基线提高了约 18%，将成员推理暴露保持在再训练级别，并将特征分布差距缩小到再训练模型，其中重新标记方法让忘记功能完全分离。进一步的研究表明 Unmerge 也适用于 ViT-S/16 并可扩展至 Llama-3.2-3B。驱动算法的每层基础几何结构还可以作为分层诊断，以判断何时何地忘记学习在结构上变得困难。