论文
EmoInstruct-TTS:双路径指令引导的情感语音合成
EmoInstruct-TTS: Dual-Path Instruction-Guided Emotional Speech Synthesis
摘要
基于指令的可控语音合成使用户能够通过自然语言指定情绪。然而,现有的方法通常依赖于粗略的情感标签,并且缺乏细粒度强度的明确建模。我们提出了 EmoInstruct-TTS,一种用于情感语音合成的双路径指令引导框架。我们引入了 Emotion2embed,这是一种有监督的语义声学情感嵌入,涵盖 48 种情绪状态,包括细粒度类别和强度级别。为了从自由形式的指令中推断嵌入,我们设计了一个指令条件情绪流模型(ICE-Flow),它可以生成基于声学的情绪表示。推断的嵌入被集成到基于 LLM 的合成管道中,以提供明确的情感控制,同时保留语义规划。实验表明,与强基线相比,情绪可控性和言语自然度有所提高。