SALSA：通过学习转向激活向量进行语音感知 LLM 适应

语音感知 大语言模型 通常很难泛化到域外设置。我们提出了 SALSA（通过学习转向激活进行语音感知 LLM 自适应），这是一种学习分层转向向量的轻量级自适应方法。与依赖对比激活差异的常用引导方法不同，SALSA 使用监督目标直接优化引导向量。在儿童语音、多语言语音和普通话-英语语码转换基准中，SALSA 比零样本推理和语音上下文学习基线显着提高了性能，比零样本实现了高达 46.8% 的相对改进。分析进一步表明，控制编码器（尤其是后面的层）比控制 LLM 主干网更有效。这些发现表明，转向通过调整更高级别的声学和语音表示以更好地与预训练的语言模型表示空间保持一致来提高下游 ASR 性能，而不是通过修改解码器本身。