具有结构化推理和反思细化的多代理框架，用于生成多模式移情响应

多模态同理心响应生成 (MERG) 旨在根据用户的多模态环境生成情感参与和同理心响应。现有方法通常依赖于从多模态上下文到最终响应的隐式一次性生成范式，这忽略了 MERG 的两个内在特征：（1）人类对情感线索的感知本质上是结构化的，而不是直接映射。传统范式忽视了情感感知的层次递进，导致情感判断的扭曲。 （2）考虑到人类情感固有的复杂性和模糊性，传统范式很容易出现明显的情感偏差，最终导致同理心不理想。在本文中，我们提出了一个 MERG 的多智能体框架，它通过结构化推理和反思性细化来增强同理心。具体来说，我们首先引入了一个结构化的移情推理到生成模块，该模块通过多模态感知、一致性感知情绪预测、务实策略规划和策略引导的响应生成来明确分解响应生成，从而提供从多模态证据到响应实现的更清晰的中间路径。此外，我们开发了一个全局反思和细化模块，其中全局反思代理对中间状态和生成的响应进行逐步审核，消除现有的情绪偏见和同理心错误，并触发有针对性的再生。总体而言，这样的闭环框架使我们的模型能够在迭代过程中逐步提高情绪感知的准确性并消除情绪偏差。对多个基准（例如 IEMOCAP 和 MELD）的实验表明，与最先进的方法相比，我们的模型具有卓越的共情响应生成能力。