FOGO：遗忘感知正交化优化器

我们认为，遗忘并不局限于持续学习，而是一种普遍的优化现象：在标准训练期间，占主导地位的小批量梯度会抑制罕见但有用的更新方向，从而在每一步都会导致短期遗忘。当这些知识不再被重新审视时，这些损失就会加剧长期遗忘——持续学习的经典失败模式。我们引入了 FOGO，这是一种可扩展的优化器，可以连续检测并解决两种状态下的梯度干扰。 FOGO 在频谱上正交动量更新，以防止主导方向垄断优化，然后将代表性的过去方向存储在基于随机投影的紧凑码本存储器中，其中成对距离可证明保留在低维空间中。在每个步骤中，当前更新和存储的方向之间的冲突通过轻量级正交校正来解决，并通过最近的步骤恢复，以最小的开销且无需数据存储。在类不平衡分类、领域和类转换下的持续视觉学习、LLaVA-7B 的持续 微调 和 GPT-2 预训练中，FOGO 持续提高收敛和知识保留，表现优于 Adam 和 Muon。