CGaLore：曲率引导的 GaLore，用于 ASR 基础模型的内存高效持续适应

自动语音识别模型在适应新领域、口音或下游任务时会遭受灾难性遗忘。随着语音基础模型的使用越来越多，这个问题变得越来越重要，其中适应应该既节省内存又安全，从而保留在预训练期间学到的广泛功能。梯度低秩投影（GaLore）最近被提出作为一种节省内存的微调方法，该方法保持模型参数满秩，同时通过低秩梯度投影减少优化器内存。然而，GaLore 并没有解释灾难性遗忘。我们提出了 Curvature-Guided GaLore (CGaLore)，它在选择低秩投影基时结合了旧任务的曲率信息。具体来说，CGaLore 在计算梯度子空间之前，使用先前任务的克罗内克因子近似曲率来过滤当前任务梯度。我们的实验表明，CGaLore 能够实现有效的适应，同时减少遗忘，超越最先进的持续学习基线。广泛的消融研究证实了 CGaLore 的实际适用性。