论文

AfriSwitch:野外非洲语码转换语音识别的基准

AfriSwitch: A Benchmark for In-the-Wild African Code-Switched Speech Recognition

模型评测基准与评测资源

摘要

语码转换在非洲双语对话中很普遍,但大多数 ASR 系统都假设单语输入,并根据策划的单语基准进行评估。我们推出了 AfriSwitch,这是一个时长 61.36 小时的人工转录野外语码转换语音基准,涵盖 16 种非洲语言和语言变体,发布了转换级英语跨度标签、perutterance 代码混合指数 (CMI) 和转换点计数。语料库统计数据显示,非洲语言之间的混合行为在两个基本独立的轴上存在很大差异:说话者交替的频率以及混合的平衡程度。没有任何一个标量能够描述语言的代码转换程度。对五个开放和商业多语言 ASR 系统进行零样本基准测试,得出的单词错误率远高于已发布的相同语言的单语言数字,其中最好的系统平均 WER 为 35.93%,并且没有任何系统在任何语言上的错误率低于 24%。最能预测表现的是针对非洲的训练,而不是模型规模或名义语言覆盖范围。