论文
音素与投影仪：基于 LLM 的 ASR 的语音语言接口的研究
Phonemes vs. Projectors: An Investigation of Speech-Language Interfaces for LLM-based ASR
摘要
将预训练语音编码器与 大语言模型 (LLM) 集成对于 ASR 来说很有希望，但性能和数据效率取决于语音语言接口。常见的选择是学习投影仪，将编码器特征映射到 LLM 嵌入空间，而另一种选择是将离散音素序列暴露给 LLM。使用相同的编码器和 LLM 主干，我们比较了高资源英语和低资源塔塔尔语中基于音素和基于普通投影仪的界面。我们还提出了一个 BPE-音素接口，它将频繁的本地音素模式分组，同时保留用于音素到字素生成的明确的单词边界线索。在 LibriSpeech 上，基于音素的界面与普通投影仪具有竞争力，并且 BPE 音素界面产生了进一步的收益。在 Tatar 上，基于音素的界面大大优于普通投影仪。我们进一步发现，音素监督产生了一个音素通知的混合界面，比普通投影仪更强大。