机器遗忘的光谱显着性

机器取消学习（MU）旨在消除特定训练数据的影响，同时保留模型效用。顾名思义，MU 可以被视为学习的逆过程，它使用基于梯度的更新来抵消先前学习的行为，从而减少遗忘集的影响。最近，引入了梯度下降变体 Muon。 Muon 应用光谱幅度归一化来鼓励对罕见方向的探索，并展示了有希望的性能。受 Muon 的启发，我们采用谱视图进行消除学习，并提出谱显着性消除学习（SSU）。 SSU 对弱奇异分量进行阈值处理，并仅更新那些由置信的遗忘信号支持的方向。我们从遗忘-保留权衡的角度进一步为这种阈值方法提供了理论依据。图像分类器、扩散模型和 LLM 的实验证明了 SSU 的有效性。