论文
统一梯度投影：多语言低资源 ASR 的语言平衡持续学习
Unified Gradient Projection: Language-Balanced Continual Learning for Multilingual Low-Resource ASR
摘要
Whisper 等大规模预训练 ASR 模型表现出强大的多语言能力。然而，低资源语言上的 微调 通常会导致灾难性的遗忘。尽管持续学习可以缓解这个问题，但现有方法很难调节多语言环境中的跨任务干扰，在这种情况下，主导语言会偏向优化。我们提出统一梯度投影（UGP），它使用统一投影空间中语言平衡重放的参考梯度来约束参数更新。通过均衡投影中每种语言的贡献，UGP 减少了主导语言偏差并提高了跨语言稳定性。我们进一步表明，将梯度级投影与数据级重播相结合可以在稳定性和可塑性方面产生互补的收益。在不同的低资源语言组和模型规模中，UGP 能够实现有效的适应，同时大大减少遗忘。在 Whisper-large-v3 上，它实现了接近于零的平均遗忘。