用于文本兼容的语音到 LLM 桥梁预训练的本地原型重建

语音到 LLM 系统通常通过小型可训练桥将冻结语音编码器连接到冻结大语言模型 (LLM)。桥通常被视为管道，但它实际上定义了语音到 LLM 接口的几何结构，并且预训练目标决定该接口是否为下游任务提供可重用的初始化。我们通过两个互补的属性来研究可转移的桥：与文本侧的全局对齐，以及局部词汇流形兼容性，其中桥嵌入仍然接近冻结的 LLM 的输入嵌入邻域。我们通过适用于任何目标的固定、无头、无时间戳诊断来测量此属性，并表明下一个单词预测 (NWP) 和句子级对比预训练不能完全捕获标记级词汇兼容性。然后，我们介绍局部原型重建（LPR），这是一种轻量级的仅训练正则化器，要求每个对齐的桥token都可以从冻结的 LLM token嵌入的小邻域中重建，并具有硬单原型 锚点作为其极限情况。在多语言 ASR 和语音翻译方面，LPR 改进了迁移，在翻译和低资源适应方面收益最大。至关重要的是，我们的独立诊断与跨目标的下游收益相关，这表明词汇流形兼容性可以预测语音到 LLM 桥梁的可重用性。