人类的ALMANAC：动作级心理模型对齐的人机协作数据集

LLM 代理的最新进展实现了复杂的认知能力，例如多步骤推理、规划和工具使用，这越来越多地将这些代理定位为人类协作者。然而，有效的协作需要协作者在协作过程中不断维护和调整自己的推理、合作伙伴的意图和共同目标的心理模型。今天的智能体很少开发这样的能力，因为它们主要是为了完成任务而优化的，并且社区缺乏具有动作级心理模型注释的真实人类协作数据，这些数据可以指导智能体实现流程级协作能力。为了弥补这一差距，我们提出了 ALMANAC，这是一个基于地图任务构建的用于代理协作的动作级心智模型注释数据集，地图任务是社会科学中的经典二元路由任务。年鉴包含 2,987 个协作操作，每个操作都与基于理论的心智模型注释配对，记录参与者的自我推理、感知的合作伙伴意图和感知的团队目标。我们对六位大语言模型进行了预测人类下一步行为和心理模型的基准测试。我们的结果证明了年鉴在评估模型模拟人类协作行为并推断其潜在心理模型的能力方面的实用性。