为高性能多语言 ASR 添加强大的代码切换功能

对于实际部署中的大型多语言 ASR 系统来说，语码转换 (CSW) 仍然具有挑战性。虽然合成 CSW 数据上的 微调 是可能的，但它通常会降低强大的单语基线。我们的目标是保留这些功能，同时扩展模型以处理复杂的代码切换，包括跨语言的形态变化。我们提出了贝叶斯分解适应，它学习有效地将切换相关知识集成到强大的预训练模型中，而不会覆盖现有功能。我们的方法只需要少量的合成数据，就能将语码转换词的转录错误减少 32.87%，同时将整体 ​​WER 提高 5.31%，同时保持单语言性能。我们的结果表明，有效的 CSW 适应更多地取决于知识整合而不是数据复杂性。