论文
语音语言模型中的情境学习：分析声学特征、语言结构和归纳头的作用
In-Context Learning in Speech Language Models: Analyzing the Role of Acoustic Features, Linguistic Structure, and Induction Heads
摘要
上下文学习（ICL）已在纯文本语言模型中得到了广泛的研究，但在语音领域仍然很大程度上未被探索。在这里，我们研究语言和声学特征如何影响语音语言模型中的 ICL。我们专注于文本转语音（TTS）任务，它使我们能够从两个角度分析 ICL：（1）模型从演示中推断任务的准确程度（即生成正确的口语内容），以及（2）模型在其输出中模仿演示语音的声学特征的程度。我们发现语速对 ICL 性能有很大影响，并且在输出中也会被模仿，而音高范围和强度对性能影响很小，并且不能一致地再现。最后，我们研究了感应头在基于语音的 ICL 中的作用，并表明这些头起着因果作用：消除 top-k 感应头完全消除了模型的 ICL 能力，这反映了基于文本的 ICL 的发现。