论文

导航情感树:用于多模态情感识别的分层双曲 RAG

Navigating the Emotion Tree: Hierarchical Hyperbolic RAG for Multimodal Emotion Recognition

上下文与知识检索增强

摘要

多模态情感识别旨在整合文本、音频和视频源来理解人类的情感状态。尽管多模态 大语言模型 擅长多模态推理,但它们通常将情感类别视为独立标签,而忽略了人类心理学丰富的层次分类法。此外,缺乏外部情境知识使他们极易过度解释噪音线索,从而使细粒度的情绪分类进一步复杂化。为了解决这些问题,我们提出了 \textbf{HyperEmo-RAG},这是一种利用结构化情感知识库的检索增强生成框架。我们的框架引入了两项关键创新。 1)分层双曲基础。认识到情感分类法固有的分层树结构,我们将分层情感标签和多模态样本联合嵌入到连续双曲空间(庞加莱球)中,并设计了分层波束搜索审议过程,逐步从粗粒度到细粒度级别检索样本。 2)结构化证据注入。基于检索到的证据,我们构建了一个证据图,并通过 Tree-Aware Attention 机制和 EmotionGraphFormer 将结构化知识作为显式认知上下文注入到 LLM 中,从而保留了图结构信息的完整性。对多个数据集的实验表明,HyperEmo-RAG 显着优于现有方法。