BlasBench：爱尔兰语语音识别的开放基准

现有的多语言基准包括爱尔兰语等数十种语言，但没有应用爱尔兰语文本规范化，因此无法进行可靠且可重复的 ASR 比较。我们推出了 BlasBench，这是一个开放的评估工具，它提供了一个独立的爱尔兰意识标准化器，可以保留 fadas、lenition 和 eclipsis；为所有评估的运行发布可重复的评分工具和每句话预测。我们通过在 Common Voice ga-IE 和 FLEURS ga-IE 上对四个架构系列的 12 个系统进行基准测试来进行试点。所有 Whisper 变体都通过插入驱动的幻觉超过 100% WER。 Microsoft Azure 在 Common Voice 上的 WER 达到 22.2%，在 FLEURS 上达到 57.5%；最好的开放模型全语言 ASR 7B 分别达到 30.65% 和 39.09%。在 Common Voice 上进行微调的模型在迁移到 FLEURS 时会降低 33-43 分，而大规模多语言模型仅降低 7-10 分，这是单数据集评估所忽略的泛化差距。