全局韵律嵌入提取的无监督方法

韵律是口头交流的核心，它传达诸如说话者的情绪状态和意义消歧所需的线索等信息。许多自我监督的语音模型都会生成对韵律、语言和说话人信息进行编码的嵌入。在韵律是主要区分因素而其他因素在训练和部署之间可能有所不同的情况下，这种信息的纠缠是有问题的；在这种情况下，纯粹的韵律表示会更加有力。这种表示还可以用于分析韵律在给定任务中的作用或作为语音合成系统的输入。在这项工作中，我们提出了多种基于音调和能量自动编码器模型生成全局韵律嵌入的方法。我们开发了一个基准来评估这些表示的性能，表明与各种替代方案相比，我们的嵌入在具有挑战性的条件下提供了有竞争力或优越的性能。