自动语音识别的参数高效持续学习

语音基础模型可实现强大的通用 ASR，并且对下游适应具有吸引力。然而，它们的大小和连续 微调 引起的灾难性遗忘需要参数高效和正则化的训练方法，从而激发参数高效的持续学习（PECL）。虽然 PECL 在 NLP 和视觉领域得到了广泛的研究，但它在 ASR 领域受到的关注较少。在本文中，我们基于 ASR 参数高效 微调 的最新进展，提出了一种简单而有效的 PECL 方法。我们根据奇异值将预训练的权重矩阵划分为头子空间和尾子空间，并将适应限制在低能量尾子空间内的近似旋转，从而保留主要成分并减少遗忘。对于后续任务，旋转通过权重平均进行组合，以进一步提高保留率。两个基准测试的实验表明，与最近的 PECL 基准相比，遗忘减少了，整体性能优越。