论文
新加坡式英语,可以还是不可以? 微调 和评估新加坡英语的零样本 TTS
Singlish, Can or Not? Fine-Tuning and Evaluating Zero-Shot TTS for Singapore English
摘要
零样本文本转语音 (ZS-TTS) 可以实现接近人类标准英语的质量,但它复制地区口音的效果很差。在简短的新加坡英语话语提示下,最先进的系统可以再现说话者的音色,同时将口音压平为通用英语。我们调查有针对性的 微调 现成 ZS-TTS 是否可以缩小新加坡英语 (Singlish) 的差距。我们在来自 IMDA 国家语音语料库的 50 个新加坡式英语使用者上对两个尖端 ZS-TTS 模型 Chatterbox 和 CosyVoice 3 进行了微调。评估了三种语音分布:针对现成的真实录音以及由相同的新加坡式英语音频提示驱动的微调生成。评估涵盖四个维度:自然度、清晰度、说话人相似度、口音相似度。我们将适应(在 微调 期间看到的域内说话者)与一致性(保留的说话者)分开,以测试口音迁移是否泛化到训练数据之外。 微调 提高了 Chatterbox 和 CosyVoice 3 的域内和域外说话者的口音相似性。它将生成的分布显着地向真实的新加坡式英语移动,并且增益持续存在于保留的说话者上。据我们所知,这是首次对新加坡英语口音 TTS 进行系统研究。