从像素到状态：重新思考作为游戏引擎的交互式世界模型

构建对玩家行为做出连贯响应的交互式世界长期以来一直是计算机图形、游戏和人工智能的共同目标。最近的视频生成模型通过预测以用户行为为条件的未来观察结果，提供了实现这一目标的数据驱动途径，并且越来越被视为潜在的下一代游戏引擎。然而，实现真正的交互式游戏世界需要遵循不断变化的游戏条件规则的交互结果、长期持续的后果以及实时运行的生成循环。传统的游戏引擎通过循环动作-状态-观察循环来实现这些属性，其中玩家动作根据预定义的规则更新显式游戏状态，并根据结果状态呈现观察结果。以此循环为组织镜头，本文从四个维度研究了交互式游戏世界建模：玩家动作控制、游戏状态动态、状态观察持久性和实时交互生成。对于每个维度，我们从交互式游戏世界所需的功能出发，将现有方法分为代表性的系列，并讨论每个系列的优势和权衡。作为对这一分析的补充，我们为《黑神话：悟空》提供了一个可扩展的数据引擎，该引擎收集超过 90 小时的游戏玩法，包括帧对齐的玩家动作、真值 游戏状态和视觉观察，以及结构化和语义注释，作为状态感知游戏世界建模的资源。我们希望本文能够清晰地展示该领域的现状，并促进交互式游戏世界的进步。