EmoTransCap：用于话语中情感转换感知语音字幕的数据集和管道

情绪感知和适应性表达是人机交互的基本能力。虽然语音情感字幕（SEC）的最新进展改进了细粒度的情感建模，但现有系统仍然仅限于孤立句子中的静态、单一情感表征，忽略了话语层面的动态情感转变。为了解决这一差距，我们提出了情感转换感知语音字幕（EmoTransCap），这是一种将时间情感动态与话语级语音描述相结合的范例。为了构建一个富含情感转变的数据集，同时实现可扩展的扩展，我们设计了一个用于数据集创建的自动化管道。这是第一个明确设计用于捕获话语级情感转变的大型数据集。为了生成语义丰富的描述，我们结合了话语级语音的声学属性和时间线索。我们的多任务情绪转变识别（MTETR）模型执行联合情绪转变检测和二值化。利用 LLM 的语义分析功能，我们生成两个注释版本：描述性的和面向指令的。这些数据和注释为提高情感感知和情感表达提供了宝贵的资源。该数据集支持捕获情绪转变的语音字幕，促进时间动态和细粒度的情绪理解。我们还在话语层面引入了一种可控的、具有转换意识的情感语音合成系统，增强了拟人化的情感表达能力并支持高情商的对话代理。