论文
Emo-LiPO：基于 LLM 的文本转语音中细粒度情感强度控制的列表偏好优化
Emo-LiPO: Listwise Preference Optimization for Fine-Grained Emotion Intensity Control in LLM-based Text-to-Speech
摘要
基于 大语言模型 (LLM) 的文本转语音 (TTS) 系统可以实现即时调节的情绪控制，但由于文本和语音之间的语义 - 声学差距，难以应对细粒度的情绪强度。为了应对这一挑战，我们将基于 LLM 的 TTS 中的情感强度控制制定为学习排序问题，并提出了 Emo-LiPO，这是一种列表式偏好优化框架，可将提示条件语音生成与文本中表达的相对情感强度对齐。 Emo-LiPO 在固定转录本下明确模拟每种情绪内的全局强度排序，从而实现更忠实和连续的情绪表达。我们进一步构建了 ESD-plus，一个具有明确情绪强度变化的多说话者数据集，以支持细粒度的情绪建模和评估。 ESD-plus 实验表明，与基于监督和基于 DPO 的 LLM TTS 基线相比，Emo-LiPO 显着提高了情绪准确性和强度可控性，在高强度水平下的增益尤其明显。