利用语音大语言模型表示进行多语言和跨语言帕金森病检测

语音大型语言模型（语音大语言模型）在各种任务中表现出强大的性能，但其在病态语音分析中的实用性仍未得到充分探索。在这项工作中，我们研究了语音大语言模型的编码器和解码器组件的内部表示在多语言和跨语言设置中用于帕金森病 (PD) 检测的有效性。我们的研究结果表明，在大多数模型和设置中，编码器表示始终优于其解码器对应物，并且随着音频表示投影到语言模型空间，病态线索可能会逐渐减弱。我们进一步表明，与内部表征相比，生成输出对于临床任务来说不太可靠。为了利用跨多个层传播的信息，我们提出了一种基于挤压和激励 (SE) 的动态层聚合框架，该框架在多个实验中超越了最佳层选择，表明与 PD 相关的声学线索分布在Transformer层中，而不是集中在一个层中。