论文
超越说话者独立性：评估芬兰语和俄语的跨语言声学到发音倒转
Beyond Speaker Independence: Evaluating Cross-Lingual Acoustic-to-Articulatory Inversion Across Finnish and Russian
摘要
在领域转变的情况下，声学到发音反转（AAI）仍然具有挑战性，其中说话者属性和跨语言条件的变化常常会降低性能。我们在这种转变下进行了系统评估，并在芬兰-俄罗斯双语 EMA 语料库 FROST-EMA 上建立了基线基准。 FROST-EMA 解决了现有资源的英语偏见和有限的说话者多样性问题。我们对 (i) 发音目标（原始 EMA 坐标与束变量）、(ii) 声学前端（MFCC 与 SSL 特征）和 (iii) 反演后端（BiLSTM 与轻量级基于注意力的序列模型）进行基准测试。我们进一步定义了跨性别迁移（语言内）和跨语言迁移（性别内）的评估协议。结果表明，相对于域内基线，跨性别不匹配会导致皮尔逊相关性适度下降（约 0.05 至 0.10），而跨语言不匹配会导致更大的下降（约 0.10 至 0.20）。