通过跨模态信息流解释和增强大视觉语言模型中的情感回路

大视觉语言模型（LVLM）代表了向同理心代理的重大飞跃，展示了卓越的情感理解能力。然而，控制 LVLM 如何将抽象视觉刺激转化为连贯情感叙事的内部机制在很大程度上仍未被探索，这主要是由于视觉反事实的稀缺和情感表达的分散性。在本文中，我们通过引入专为描述性情感推理量身定制的基于转向向量的因果归因框架来弥补这一差距。为此，我们构建了一个专门的数据集，以揭开三阶段“适应-聚合-执行”机制背后的情感回路的神秘面纱。至关重要的是，我们发现了一种功能解耦：视觉情感线索通过特定于情感的注意力头聚集在中间层，但随后通过情感一般路径转化为深层的叙事生成。在这些见解的指导下，我们调节情感信息路由以加强注意力流并放大语义激活以巩固表达。在综合 MER-UniBench 上进行的大量实验表明，我们的方法通过推理时间干预显着提高了性能，有效减轻了情绪幻觉并证实了所发现电路的因果保真度。