分析 60 种印度语言语音表示的语言和地理差异

自监督语音编码器通常通过语言监督进行微调，这可以忽略地理差异。为了理解与仅语言监督相比，在语言和区域联合监督下学习到的表示，我们对 Whisper-base 和 Wav2Vec2.0-base 进行了微调，以用于联合语言区域（386 个类别）和仅语言分类（60 种语言）的分类任务。语言区域监督改善了嵌入空间中以语言为条件的区域歧视，同时增强了边缘语言分类。我们使用归一化条件互信息（NCMI）分析学习嵌入的结构，表明语言区域监督产生了全球语言集群，其语言子集群内的结构与区域变化保持一致，增强了地理可分离性，而不会降低语言级别的组织。