多智能体系统的心理模型

大型基础模型加速了通用智能体的发展，这些通用智能体通过语言和多模态信号与人类和其他智能体进行交互。然而，稳健的多智能体决策需要推理其他智能体在部分可观察性下知道什么、打算做什么以及可能做什么。当前的 agentic 系统通常通过提示设计、记忆或端到端行为塑造来运行，但通常不会学习可以在任务之间重用作为决策变量的显式合作伙伴状态表示。我们引入了 \emph{支持心理模型的代理}，这是一个为代理配备其对应对象的潜在心理模型的框架，使其能够从观察到的历史中推断出隐藏的信念、意图和可能的反应，并使用这些推论来指导行动选择。我们的方法学习摊销式递归心智理论表示，具有一阶和二阶心理状态结构，以及信念条件奖励模型，该模型评估相对于推断的伙伴状态的候选行为。然后学习策略 在这种信念感知信号下，产生一个可以在推理时独立行动的代理，同时保留显式合作伙伴建模的好处。我们在纯语言和多模式基准测试上评估相同的框架。在这些设置中，与基本 agentic 系统相比，显式心理状态建模持续提高了交互质量和心智理论表现，这表明结构化合作伙伴建模对于一般多智能体系统来说是一种有用的归纳偏差。我们的代码可在 https://github.com/hananshafi/Mental-Models 上公开获取