Sympatheia：连续情绪条件控制的语音助手

善解人意的口语对话系统必须推断用户的情绪状态才能做出适当的反应，但日常言语通常带有微弱、中性或模糊的情感线索。为了解决这个问题，我们引入了 Sympatheia，一种语音到语音对话框架，其条件是从用户的语音推断出情感，并且在可用时，通过多模态传感模块或用户界面以连续的效价—唤醒度（VA） 控制信号的形式提供明确的情感规范。为了训练我们的模型，我们构建了 Sympatheia-18k，这是一个具有 12 个情感锚点的情感调节合成口语对话语料库。该数据集包括用于学习情感言语行为的情感分割，以及将情感中性查询与多种情绪条件响应配对的中性分割，以在情感模糊的情况下隔离明确的情绪控制。实证结果表明，Sympatheia 在生成语义内容和口头表达在情感上都合适的响应方面优于语音会话基线。我们进一步表明，相同的 VA 界面可以集成来自不同传感模块的情感估计，包括面部表情、生物信号和文本情感描述，从而在仅语音提供有限情感证据时改善响应一致性。这些结果表明，连续情绪条件控制是构建情感自适应语音助手的有效实践步骤。