论文
非裔美国英语中 wav2vec 2.0 和 Whisper 辅音簇减少的分层探测
Layer-wise Probing of wav2vec 2.0 and Whisper for Consonant Cluster Reduction in African American English
摘要
自监督和监督语音模型越来越多地用于研究它们的内部表示编码哪些语言信息，以及它们在什么抽象级别上编码。一个未被充分研究的现象是非裔美国英语 (AAE) 中的辅音簇减少 (CCR)，这是一种广泛存在的语音过程，也是自动语音识别 (ASR) 差异的根源。为了检查 CCR 的表示方式，我们使用两个任务对 wav2vec2-base 和 Whisper-small 进行与说话人无关的逐层探测：分段还原检测和底层集群身份的分段恢复。两种模型都能以高精度区分简化形式和规范形式。至关重要的是，减少的片段保留了其潜在停顿的线索，表明 CCR 被编码为结构化梯度音系变异，而不是简单的片段删除。这些结果证明了现代语音模型中 AAE CCR 模式的结构化语音编码。