问世界:通过 Agentic 世界建模和探测进行通才物理推理
Asking the World: Generalist Physical Reasoning through Agentic World Modeling and Probing
摘要
从视频进行物理推理需要推断超出直接观察的潜在物理特性和动态。在没有显式建模和验证的情况下,直接 VLM 推理在复杂的物理任务上仍然不可靠,而预定义的工具管道依赖于特定于任务和领域的先验,这限制了跨材料、动力学和推理任务的泛化。我们引入了 Asking the World (ATW),这是一种通才Agent,它通过两个自适应阶段构建和询问与任务相关的可执行世界:世界建模从视频中校准世界,而世界探测则对其进行查询、模拟和干预以获得与问题相关的证据。 ATW 并不规定任一阶段的操作,而是根据场景和问题确定如何建模和探测。我们开发了 PolyWorld Engine,这是一种轻量级且高度可编程的基于 Warp 的多物理场模拟器,用于构建和探测具有刚体、软体、布料、绳索、流体及其耦合相互作用的世界。基于 CEM 的系统识别可在世界建模期间恢复任务相关的动态。由此产生的世界成为以问题为导向的物理实验的活跃工作空间,而不是预定的下游工具。我们在 CLEVRER、ContPhy 和三个真实场景上评估 ATW。使用 Gemini-3-Flash 作为基础 VLM,ATW 在 CLEVRER 上的整体每问题准确率达到 80.82%,直接将 Gemini-3-Flash 提高了 46.50 分,将 GPT-5.5 提高了 13.58 分,将 PhysMind 提高了 8.27 分。在ContPhy上,其整体准确率达到70.56%,超过Gemini-3-Flash 28.10分,超过GPT-5.5 3.53分。在三个现实场景中,ATW 的准确率达到 71.67%,比 GPT-5.5 高出 28.33 分。这些结果将 Agentic 世界建模和探测确立为一种有效的、基于执行的通用物理推理方法。