World-as-Graph：通过潜空间图进行关系世界建模

世界模型旨在学习现实世界环境的表示并预测其未来的演变。最近以对象为中心的世界模型通过将视觉场景表示为对象级潜状态集，在表达上取得了进展，但对象与对象的关系通常仅隐式捕获，这限制了显式的关系和时间结构建模以及以对象为中心的动态记忆建模。为了应对这些挑战，我们提出了 World-As-Graph (WAG)，这是一种基于图的以对象为中心的世界模型，它将关系归纳偏差引入到 JEPA 式的预测表示学习中。所提出的WAG包含两个主要模块：（1）关系感知结构归纳，它从以对象为中心的槽构造时变潜在图，并设计关系感知对象屏蔽策略来指导潜空间中的关系对象表示学习； （2）以对象为中心的记忆转换，通过将相邻对象的关系信息与历史记忆相结合来维护和更新对象级动态状态，从而实现有效的自回归未来预测。对视觉推理和机器人操作任务的广泛实验可以证明我们提出的 WAG 的卓越性能。