BaltiVoice：针对 Balti 语言的语音语料库和微调的耳语 ASR 系统

我们推出了 BaltiVoice，这是一个时长 16.8 小时的 Balti 语音朗读语料库（ISO 639-3：bft），这是一种在巴基斯坦吉尔吉特-巴尔蒂斯坦使用的藏语，之前没有公开可用的 ASR 资源。该语料库包含 10,060 个经过验证的原生 Nastaliq 脚本的话语，这些话语源自 Mozilla Common Voice 录音。在 538 个说话者不相交验证集上训练 5 个周期（3,000 个步骤）后，微调 OpenAI Whisper-small 的字错误率 (WER) 为 24.78%，字符错误率 (CER) 为 8.30%，低于 159.19% WER 和 152.52% CER 的零样本基线。对相同数据进行微调的 Whisper-base 实现了 44.54% WER 和 15.61% CER，证实模型容量对于这种低资源环境很重要。数据集、微调模型和实时转录演示可在 HuggingFace 上公开获取。