论文
BranchShine:使用 RoPE E-Branchformer 编码器进行紧凑的原始音频到 IPA 转录
BranchShine: Compact Raw-Audio-to-IPA Transcription with a RoPE E-Branchformer Encoder
摘要
当所需的输出是发音而不是拼写文本时,语音到 IPA 转录非常有用,但竞争性多语言系统通常很大,并且评估对标准化选择很敏感。本文介绍了 BranchShine,这是一种 33M 参数的原始音频 CTC 识别器,具有轻量级卷积前端和 19 块 RoPE E-Branchformer 编码器。我们发现 BranchShine 在匹配的标准化和评分下为 IPA 转录提供了一个紧凑且有竞争力的操作点。在涵盖 41 种语言标签的 16,660 句话多语言测试集上,BranchShine 获得了 9.19% 的空白不敏感 IPA 字符错误率,而 575.00M 参数的 PhoneticXEUS 基线的错误率为 9.78%。中学儿童语音阅读分析显示了互补的操作概况:BranchShine 对错误阅读更加保守,而 Whisper-Medium 对正确阅读的准确接受程度更强。总体而言,结果表明紧凑的原始音频到 IPA 模型可以在字符级 IPA 转录上接近更大的基线。