MOTOR-Bench：用于零样本人类心理状态理解的真实世界数据集和多智能体框架

从自然行为中理解人类心理状态对于现实世界中的智能系统至关重要。然而，当前大多数研究侧重于预测孤立的心理状态标签，缺乏复杂人际互动的结构化注释。为了支持结构化分析，我们引入了 MOTOR-Bench，这是一个精心设计的基准测试，采用真实世界数据集 MOTOR-dataset，包含协作学习场景中的 1,440 个多模态视频剪辑，反映了真实世界数据的关键挑战，包括自然类别不平衡、视觉噪声和特定领域语言。每个样本均由教育专家根据自我调节学习理论进行标记。我们在 MOTOR-Bench 上的零样本设置中进一步评估了几种最先进的多模式 大语言模型 和多智能体系统。然而，他们在这项任务上的表现仍然有限，这表明现有方法仍然难以进行从可观察行为到更深层次心理状态的结构化推理。为了应对这一挑战，我们提出了一种推理多智能体框架，名为 MOTOR-MAS。它通过结构化的智能体协调机制来协调多个智能体，以推断外显行为、内部认知和心理情绪。实验结果表明，我们的 MOTOR-MAS 在行为、认知和情感三个标签的 Macro-F1 分数中比最好的单模型基准高出 15.93 分，在内部认知预测中比一般多智能体基准高出 10.2 分。