TRACE与TRACER：追踪社会场景中情绪的原因与结果

情感计算已经从分类情感识别发展到使用大型多模态模型的开放式情感分析。然而，情感科学将情感描述为一个由评估、调节和社会解释塑造的展开过程，而这一过程在计算方面仍未得到充分探索。我们提出了 TRACE，一个以认知为导向的框架，通过三个相互关联的阶段：条件、影响和效果，将情感事件形式化，将可观察到的线索与认知因素（如内部立场和情绪表达的调节）相结合。基于此公式，TRACE-Bench 通过 646 个视频中的 3,746 个结构化问答对，通过涵盖扎根情感识别、调节解码、原因推理、效果推理和全链重建的五个任务来评估现实社会场景中的多模态模型。匹配的人类模型比较揭示了巨大的性能差距，而情感专用模型通常也落后于通用 MLLM。模型输出显示反复出现的故障，包括处理显示的行为 作为真实的感觉并在长链生成过程中捏造不受支持的事件。我们进一步提出了 TRACER，一种基于认知的结构化推理方法，它将每个推论与来自事实观察、认知评估和建立的上游结论的明确前提相结合，形成中间和目标结论的可追踪图。 TRACER 在五项任务中的每一项都优于所有评估的模型基线。项目页面：https://cogaffc.github.io/TRACE