论文
Poly-InstructTTS：从开放式指令中学习野外表达性语音合成
Poly-InstructTTS: Learning In-the-Wild Expressive Speech Synthesis from Open-Ended Instructions
摘要
虽然最近的文本转语音（TTS）模型实现了高度自然度，但通过自然语言指令控制细粒度表达仍然具有挑战性。我们介绍 Poly-InstructTTS，它使用野外视听数据从开放式指令中学习表达性语音。我们构建了一个可扩展的多模式管道，以构建一个 1,000 小时的指令注释语料库，涵盖 1,000 多种细粒度的情感和风格。该框架使用带有基于属性的思维标记的无提示 GPT，然后是从参考音频注入音色的流程匹配模块。我们还提出了一个说话人 微调 程序，将指令控制转移到特定说话人，同时保留角色。我们进一步用更广泛的任务扩展 InstructTTSEval。实验表明，Poly-InstructTTS 在指令依从性和表现力方面具有出色的性能。我们的项目页面上提供了音频演示和扩展测试集。