翻译增强的语音编码器预训练如何影响语音LLM

将预训练语音编码器连接至LLM是构建语音LLM的常见架构，但二者表示空间可能不对齐：基于语音识别的编码器常按语言分隔表示，而LLM在统一的语言无关空间中处理信息。本文认为语音翻译提供一种对齐路径，因为翻译不同于单语转录，需要跨越语言并学习语言无关表示。实验评估将翻译目标加入语音编码器预训练的作用，结果显示其改善跨模态融合及下游语音LLM任务表现。