论文
野外探索:基于无监督发音分析的普通话子方言自监督语音表征案例研究
Probing in the Wild: A Case Study of Self-Supervised Speech Representations on Mandarin Sub-dialects with Unsupervised Articulatory Analysis
摘要
虽然自监督语音模型在语音任务中取得了出色的性能,但人们对其内部语音表示在细粒度方言变化下的表现却知之甚少。现有的探索研究通常依赖于带有手动语音注释的精选语料库,这限制了它们对自然发生的方言语音的适用性。我们使用完全未标记的探测管道提出了普通话自监督语音模型中发音特征表示的案例研究。音素序列是使用与语言无关的通用音素识别器生成的,并映射到发音特征向量,从而无需手动注释即可实现帧级探测。我们的结果揭示了普通话子方言发音特征可解码性的结构化模式。声学上的显着特征(例如唇音和刺耳音)保持相对稳定,而与更精细的频谱区别相关的特征表现出更大的方言依赖性变化。这种变化主要是由于北京话相对于其他普通话子方言的可解码性提高所致。逐层分析进一步显示了这些特征组的独特的代表性动态。这些发现表明,与语言无关的发音探测可以应用于现实世界的方言语料库,并且自我监督的语音表示中的方言敏感性在发音维度上分布不均匀。