AffectAgent：用于检索增强多模态情绪识别的协作多智能体推理

基于 LLM 的多模态情感识别依赖于静态参数记忆，并且在解释微妙的情感状态时经常产生幻觉。在本文中，考虑到单轮检索增强生成极易受到模态歧义的影响，因此很难捕获跨模态的复杂情感依赖性，我们引入了 AffectAgent，这是一种面向情感的多智能体检索增强生成框架，它利用智能体之间的协作决策来实现细粒度的情感理解。具体来说，AffectAgent 由三个联合优化的专门代理组成，即查询规划器、证据过滤器和情感生成器，它们协作执行分析推理以检索跨模态样本、评估证据并生成预测。这些代理使用多代理近端策略优化（MAPPO）进行端到端优化，并共享情感奖励，以确保一致的情感理解。此外，我们引入了模态平衡专家混合（MB-MoE）和检索增强自适应融合（RAAF），其中MB-MoE动态调节不同模态的贡献，以减轻跨模态异质性引起的表示不匹配，而RAAF通过合并检索到的视听嵌入来增强模态缺失条件下的语义完成。 MER-UniBench 上的大量实验表明，AffectAgent 在复杂场景中实现了卓越的性能。我们的代码将发布在：https://github.com/Wz1h1NG/AffectAgent。