具有细粒度体现交互的多智能体自我中心世界模型

以自我为中心的世界模型根据代理的行为来预测第一人称观察，但大多数都关注单个代理。真实的具体设置通常涉及在共享环境中行动和交互的多个代理。现有的多智能体世界模型依赖于运动、摄像机控制或离散命令等粗略动作，而细粒度的具体交互尚未得到充分探索。我们将多智能体以自我为中心的世界模型制定为同步的自我流生成，以便多个智能体通过共享世界中的细粒度动作进行交互。这需要跨视图操作一致性、共享环境一致性以及交互引起的状态更新的一致传播。我们提出了多智能体自我中心世界模型（ME-World），它联合对共享token序列中的多个自我流进行去噪，根据所有智能体的目标视图姿势调节每个流，并使用共享环境记忆来生成基础。我们对真实和合成的多智能体数据进行训练和评估，并引入环境、更新和身份的共享世界一致性指标 一致性。实验表明，与现有方法相比，ME-World 提高了共享世界的一致性、动作控制、身份保存和视频质量。