论文
Vimarsha：对具有人口多样性、野外音频和拼写变化的印度语言进行忠实的 ASR 评估
Vimarsha: Faithful ASR Evaluation for Indian Languages with Demographic Diversity, In-the-Wild Audio and Spelling Variations
摘要
印度语言自动语音识别 (ASR) 的评估基准存在两种系统偏差：来自干净、受控音频条件的乐观分数，以及来自过于严格的转录标准的悲观分数，这些标准会惩罚有效的语言变化。我们推出了 Vimarsha，这是一个涵盖所有 22 种预定印度语言的 100 小时基准，旨在解决这两种扭曲问题。 Vimarsha 将人口统计多样化的现场录音与针对声学难度而精心挑选的野外音频相结合，以及对每个话语进行多个有效转录编码的变化框架网格。对 10 个最先进的 ASR 模型的评估揭示了现实条件下模型排名的重大变化、地理和人口统计表现差异以及语速和声学环境中的系统故障模式。