过去、未来，同时发生：通过事后 JANUS 纠正缓解稳定性-塑性困境

针对新任务微调基础模型不可避免地会遭受灾难性遗忘。虽然现有的工作试图在参数高效的微调方法的基础上缓解这一问题，但他们采用了过于严格的子空间正交条件。在本文中，我们介绍了一种纯粹事后且与调整无关的权重校正框架，该框架实现了参数空间正交性，这是将历史性能保留为一阶的充分必要条件。通过将参数更新投影到 JAcobian NUll Space (JANUS) 中，我们的方法显着恢复了受损的历史知识，而不会干扰底层的微调过程。为了克服雅可比近似的局部有效性，我们进一步提出了一种多步自适应整流机制，利用 JANUS 平移来动态验证有效信任域并调整步长。结合我们提出的重影投影、重影方向比较和序列级奇异值分解压缩技术，JANUS 还实现了很高的时空效率。实验表明，JANUS 与各种微调方法无缝集成，通过恢复历史知识同时保留下游任务适应性，显着缓解稳定性-可塑性困境。