PhiZero：围绕物理语言构建的世界模型

我们介绍 PhiZero，一个围绕物理语言构建的物理世界模型，是世界状态转换的紧凑离散表示。现有的物理世界模型通常直接在像素空间中预测未来的视频，从而将潜在的世界动态隐含在高维视觉预测器中。受人类从视觉经验中抽象出预测结构并以自然语言组织起来进行明确推理的能力的激励，我们通过自我监督从野外视频中学习物理语言，并用它来明确地推理物理世界如何演变。因此，PhiZero 采用了推理然后渲染的范式：它首先将未来世界的演变推断为物理语言序列，然后将推断的过渡渲染为视频。跨代和理解基准的广泛实验验证了 PhiZero 模拟物理相干世界演化的能力。我们进一步展示了其在现实和交互式世界建模、细粒度动作条件模拟和零镜头运动传输方面的潜力。