论文

先种子后目标:重新思考低资源 Garhwali ASR 的评估

Seeds Before Objectives: Rethinking Evaluation for Low-Resource Garhwali ASR

模型评测基准与评测资源

摘要

在资源匮乏方言的典型语料库规模下,单次比较可能会产生无法复制的收益。我们针对 Garhwali(一种喜马拉雅中部资源贫乏的印度-雅利安语言)展示了这一点,在官方 VAANI 分割上构建了第一个可复制的多种子 ASR 基准,并进行了每个种子的输出和显着性测试。重新审视看似合理的收益,我们发现它们很脆弱:在种子级测试下,Focal CTC 和 matra 加权目标都无法胜过标准 CTC,matra 目标甚至无法减少其目标错误,而印地语到 Garhwali 的传输并没有比直接 微调 带来任何收益。坚持的事情很平常:带有标准 CTC 的 w2v-BERT 2.0 在五个种子中达到了 47.0% 的 WER,击败了更大的 MMS-1B 和类似模型;预训练设计(而不是参数计数)驱动性能,并且速度增强提供了小而基本一致的增益。对官方分裂的多种子评估将真实收益与种子噪音分开。