PaLoRA：持续学习的节奏低秩适应

基于 LoRA 的持续学习方法通过各种机制减轻灾难性遗忘，但几乎所有方法都以较小的学习率作为限制梯度缩放幅度的启发式方法来补充这些方法。这种固定启发式缺乏关于这种限制的强度如何随着任务积累而变化的理论指导。我们发现，即使在零空间投影等方向约束下，有限精度更新也不可避免地会泄漏到沿多个方向积累的先验知识的子空间中。虽然较小的学习率可以减弱这种泄漏，但它们无法阻止随着历史知识有效秩的增长而加剧的累积遗忘。我们表明，最佳幅度限制应随着有效秩的增加而自适应增加，以平衡稳定性和可塑性，即保留先前的知识和获取新的任务信息。在各向异性泄漏模型下，我们推导了一个调步律 $s^*=\sqrt{R/c}$，它表征了梯度步长的最佳缩放，即幅度限制本身，其中 $R$ 是过去更新的有效秩。基于这一见解，我们提出了 PaLoRA，它通过自适应 SVD 截断来压缩历史知识，将梯度投影到先前任务的零空间上，并应用秩感知自适应节奏。实验表明，与之前的方法相比，该方法得到了一致的改进，在长视野设置中具有特别强大的性能，在具有挑战性的 50 任务 ImageNet-A 和 ImageNet-R 基准测试中实现了 4% 的准确率大幅提升。