MEUSLI：适用于基于 LLM 的 ASR 及其他功能的多语言投影仪

轻量级投影仪是一种将预先训练的语音编码器与 大语言模型 (LLM) 连接的既定方法，将声学特征映射到 词元级 嵌入中，以执行 ASR 和语音问答等任务。然而，现有系统通常仅支持几种语言，并且通常仅限于英语。我们推出 MEUSLI，这是第一个开放科学多语言投影仪系列，它将 Whisper 编码器与开源多语言 LLM 连接起来，从而实现 28 种欧洲语言的完全开源端到端 ASR。 MEUSLI 扩展了之前的单语言管道，在高资源和低资源语言上提供了强劲的结果。使用适当的持续学习技术，MEUSLI 可以轻松扩展到训练中未见过的其他语言。我们进一步证明，MEUSLI 投影仪可以在 ASR 之外发挥作用，只需对每种语言进行几个小时的特定任务监督即可实现多语言语音翻译和主题识别。总体而言，MEUSLI 为多语言语音理解任务提供了坚实的基础，支持可扩展且包容性的开源 SpeechLLM