QR-Erase：通过层定位实现高效子空间机器遗忘

机器去学习旨在从经过训练的模型中删除目标信息，而不需要昂贵的再训练。现有的基于优化的方法通常会降低不相关的能力，而基于子空间的方法依赖于计算成本昂贵的奇异值分解（SVD）。我们引入了 QR-Erase，这是一个基于子空间的框架，它使用 Pivoted QR 分解来直接从模型参数中识别和删除特定于任务的表示。我们进一步提出 Layer-Localized QR-Erase，它将更新限制为包含最高浓度的任务特定信息的层。我们表明，Pivoted QR 提供了具有有限误差的精确子空间恢复，并且在温和的光谱间隙条件下，恢复的子空间接近最优 SVD 解。在任务级别、跨语言和语音遗忘方面，QR-Erase 比基于优化的方法实现了更强的遗忘保留权衡，同时在所有指标上保持在 SVD 的 5% 以内。利用低秩和层局部结构进一步改善遗忘（例如，将语音遗忘集准确率从 53.1% 降低到 15.7%）。这些结果表明，准确的子空间恢复（而不是最优重建）足以有效地消除学习，并为现代基础模型的基于 SVD 的方法提供了一种有效且通用的替代方案。