MoCA：隐性社会情境分析

人类社会交流，例如情感和意图，通常以高度隐含的方式传达，其中潜在的含义是通过间接的、基于社会和文化的信号而不是明确的陈述来表达的。这种隐性的社会背景在现实世界的互动中普遍存在，但仍然缺乏正式和系统的框架来研究它们。在本文中，我们介绍了隐式社交情境分析（MoCA），这是一项新颖的任务，它沿着三个关键维度：情感、意图和立场，系统地建模隐式社交场景。我们构建了一个高质量的基准，其中包含从现实世界来源收集的 3,108 个多模式实例，并具有细粒度的认知注释，揭示了谁向谁表达了什么，以及如何以及为何表达。使用 MoCA 数据集，我们表明最先进的多模态 大语言模型 在这项任务上表现得非常困难，因为它们依赖于明确的线索，并且对潜在社会背景的推理能力有限。为了应对这一挑战，我们提出了冲突驱动的溯因推理（CoDAR），这是一种新颖的框架，它将观察到的表达与预期的真实行为之间的差异建模为认知冲突，从而能够推断出隐藏的心理状态。大量实验表明 CoDAR 显着提高了模型性能。然而，与人类推理仍然存在很大差距，凸显了隐性社会理解的根本困难。