沙丘社区
论文

Nano-EmoX：统一从感知到共情的多模态情感智能

Nano-EmoX: Unifying Multimodal Emotional Intelligence from Perception to Empathy

Jiahao Huang, Fengyan Lin, Xuechao Yang, Chen Feng, Kexin Zhu, Xu Yang, Zhide Chen
模型优化小模型/轻量模型

摘要

情感多模态语言模型（MLM）的发展长期以来一直受到低级感知和高级交互之间差距的限制，导致情感能力碎片化和泛化有限。为了弥补这一差距，我们提出了一个认知启发的三级层次结构，根据认知深度（感知、理解和交互）组织情感任务，并为推进情感建模提供统一的概念基础。在这个层次结构的指导下，我们引入了 Nano-EmoX（一种小型多任务 MLM）和 P2E（感知到同理心）（一种基于课程的培训框架）。 Nano-EmoX 集成了一套全模态编码器，包括增强型面部编码器和融合编码器，以捕获关键的多模态情感线索并提高跨任务可转移性。输出通过异构适配器投射到统一的语言空间中，从而使轻量级语言模型能够处理不同的情感任务。同时，P2E 通过将快速感知与思维链驱动的同理心结合起来，逐步培养情商。据我们所知，Nano-EmoX 是第一个紧凑型 MLM (2.2B)，它统一了所有三个层次结构级别的六个核心情感任务，在多个基准测试中实现了最先进或极具竞争力的性能，展示了出色的效率和泛化能力。

Nano-EmoX：统一从感知到共情的多模态情感智能
图1：该框架按认知深度递增组织任务：（1）感知（Perception），用于直接识别情绪线索；（2）理解（Understanding），用于推断情绪因果与情境；（3）情绪交互（Emotional Interaction），用于与人类建立情感连接。详情请参见附录。