论文
合成语音,真实信号:通过语音克隆实现副语言保存和跨语言增强
Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice Cloning
摘要
语音中的合成数据增强是 ASR 等语言任务的常见做法,但在副语言任务中的工作要少得多,尤其是标记数据昂贵且某些患者群体代表性不足的临床任务。语音克隆就是一种这样的增强方法,但通常根据语音清晰度(WER)或说话人相似性(SS)而不是下游性能进行评估,并且目前尚不清楚这些是否保留了此类任务所依赖的副语言信号。我们对公共和临床数据集中的五种副语言任务的八种语音克隆模型进行了基准测试,显示大多数保留信号并有适度的退化。然后,我们将英语临床语音克隆为日语,发现克隆数据的训练在真实日语语音的抑郁和焦虑检测方面优于原始跨语言迁移,这表明语音克隆是增强低资源语言临床语音数据的一个有前途的方向。