代码即世界：物理推理的可执行世界表示的代理发现

物理理解和推理依赖于形成紧凑且可概括的世界表征。虽然现代视觉语言模型可以识别和解释不同的物理事件，但它们通常缺乏可靠地推理世界如何演变和对干预作出反应所需的潜在机制的明确表示，例如对象状态、物理参数和控制动力学。在这项工作中，我们引入了“代码即世界”，这是一种通过可执行的世界表示来表示物理世界的范例。通过将物理组成、动态演化和视觉外观表达为可执行代码，“代码即世界”提供了物理世界的紧凑、定量、可控的抽象。为了从多模态观察（例如自然语言描述或现实世界视频）构建这种表示，我们开发了一个受溯因推理启发的代理发现循环，其中代理提出、执行、渲染、验证和迭代地完善可执行的世界假设。作为一个具体的应用，我们使用经过验证的可执行世界来提供可扩展的物理监督，用于训练定量物理推理的视觉语言模型。实验表明，Code-as-World-VL 在 QuantiPhy 上实现了最先进的性能，并超越了领先的专有模型，凸显了可执行世界表示作为物理智能的可扩展基础的潜力。