音频大模型如何表示并使用“狗叫”概念

多模态大语言模型回答音频问题，但它们如何表示听觉语义并在决策中使用它们仍然不清楚，限制了我们对响应形成的理解。我们使用雅可比透镜（J-透镜）读数和定向干预来研究 Qwen2.5-Omni-7B 中的狗吠声。我们将狗的方向定义为与狗相关的 J 透镜导出的隐藏状态向量；添加或删除其组件会调节与狗相关的信息。我们发现这些信息可以在没有狗/吠声提示提示或动物识别要求的情况下解码。定向干预改变了反应倾向和一些最终答案，其影响集中在物种分类、发声分类和声音描述生成之前的后层状态。在动物/其他分类中，狗的方向与对照相比没有显示出可比较的优势。这些结果提供了因果干预证据，表明狗的方向以任务依赖的方式影响输出分数，在生成之前的 L22 和 L24 上最一致。