论文

超越语义主导:音频语言模型中的认知情感推理和移情反应对齐

Beyond Semantic Dominance: Cognitive Affective Reasoning and Empathetic Response Alignment in Audio Language Models

模型训练合成数据

摘要

虽然音频语言模型 (ALM) 表现出强大的语义理解能力,但它们却难以应对复杂的情感交互。具体来说,文本语义的主导地位常常掩盖了声音的细微差别,而缺乏认知深度会导致通用的、与情绪无关的反应。我们提出了 CogAudio-LLM\footnote{ \urlstyle{same} https://github.com/zxzhao0/CogAudio-LLM,一种新颖的认知情感推理框架。为了减轻语义优势,我们构建了 LIME-440K,这是一个“词汇相同、多情感”的数据集,旨在促进声学语义解耦。我们引入 EIPS,这是一种结合了心理推理的 4 步思想链 (CoT) 机制。为了提高推理效率,多阶段训练通过有监督的 微调 明确建立 EIPS,然后将该逻辑提炼为隐式生成过程。最后,我们设计了 DR-SAPO(双路由软自适应策略优化)来动态平衡 CoT 的逻辑严谨性与直接响应的同理心质量。