WorldMind：用于状态感知 NPC 行为的解耦游戏世界模型

游戏世界模型最近在生成视觉连贯且动作可控的游戏视频方面表现出了良好的能力。然而，现有模型中的非玩家角色 (NPC) 行为要么隐式地与视频生成纠缠在一起，要么通过外部控制信号明确规定。因此，游戏世界模型必须共同理解状态、规划 NPC 的响应并呈现其视觉结果，从而限制了其产生响应性和状态感知的 NPC 行为的能力。挑战在于缺乏基于国家的决策的明确界面。为此，我们引入了 WorldMind，据我们所知，这是游戏世界模型中第一个用于状态感知 NPC 行为的解耦框架。 WorldMind 将交互式世界建模分为四层：理解层，从生成的帧构建紧凑状态；决策层，对紧凑状态进行推理以规划 NPC 的下一步行动；将动作转换为时间对齐条件的控制层；以及合成视觉结果的生成层。通过重新连接封闭交互循环中的各层，WorldMind 将 NPC 行为置于不断发展的游戏状态中。我们进一步介绍了 BOSS-140K，这是一个与丰富的内部游戏状态配对的游戏视频数据集，以及一个大规模自动化收集的代理。 BOSS-140K 上的实验证明了可靠的紧凑状态重建和基于力学的规划，在大约 70% 的成对比较中，WorldMind 优于基线，因为其在战术上更加合适和连贯的 NPC 行为。项目页面：https://teawhite.cn/worldmind_projectpage/