WIN-U：Woodbury-Informed Newton-Unlearning 作为免保留机器 Unlearning 框架

LLM 中的隐私问题导致强制执行数据“被遗忘权”的需求迅速增长。机器去学习正是解决这个任务，即从训练模型中消除某些特定数据（即遗忘集）的影响。忘却的参考标准是生成仅在其余训练数据（即保留集）上学习的模型。大多数现有的忘却方法依赖于直接访问保留的数据，由于隐私或成本限制，这可能不切实际。我们提出了 WIN-U，一种无需保留数据的去学习框架，它仅需要完整数据上最初训练的模型的二阶信息。遗忘是使用单个牛顿式步骤来执行的。使用 Woodbury 矩阵恒等式和遗忘集曲率的广义高斯-牛顿近似，WIN-U 更新恢复封闭形式线性解，并用作金标准再训练最优值的局部二阶近似。对各种视觉和语言基准的大量实验表明，WIN-U 在遗忘功效和效用保留方面实现了 SOTA 性能，同时与现有方法相比，对重新学习攻击具有更强的鲁棒性。重要的是，WIN-U 不需要访问保留的数据。