论文

资源匮乏的澳大利亚原住民语言识别的混合持续学习

Hybrid Continual Learning for Low-Resource Australian Aboriginal Language Identification

模型训练持续学习

摘要

语言识别是将濒临灭绝的澳大利亚原住民语言 (AAL) 整合到支持语言复兴和数字包容的语音技术中的重要一步。然而,数据的极度匮乏限制了模型的性能。从高资源语言中进行迁移学习显示出了希望,但在适应新语言时常常会遭受灾难性的遗忘。持续学习(CL)可以缓解这个问题,尽管在数据非常有限的情况下仍然具有挑战性。为了解决这个问题,我们提出了两种混合持续学习方法:重放增强弹性权重合并和约束引导 知识蒸馏,以适应用于 AAL 识别的预训练语音模型,同时保留以前学习的知识。 Warlpiri、Dalabon 和 Dharawal 上的实验表明,所提出的方法优于 微调 和现有的 CL 基线,提高了对多种 AAL 的适应,同时保持了先前学习的高资源语言的性能。