哪种语言转移到瓦尔皮里最好？基于相似性的低资源 ASR 研究

本文研究了语言相似性如何在资源极少的环境中改善自动语音识别 (ASR) 的跨语言迁移。 Warlpiri 是澳大利亚原住民语言，转录的语音数据非常有限，因此迁移学习至关重要。我们提出了一个框架，将预训练语音模型的声学相似性与基于类型学、音素库存、语法和句法特征的语言相似性相结合，对高资源源语言进行排名，并评估其 ASR 传输到 Warlpiri 的有效性。 Whisper 的实验表明，声学和类型学上相似的语言优于单语言和多语言基线。阿萨姆语和印地语的单词和字符错误率大幅降低。相关性分析进一步表明，声学相似性是 微调 性能的最强预测因子，而音素库存和类型相似性更好地解释了零样本迁移。