论文

TourPhysics:将物理学引入世界模型,以便从单个图像进行探索和操作

TourPhysics: Bringing Physics to World Models for Exploration and Manipulation from a Single Image

模型推理解码与生成控制

摘要

交互式视觉世界模型必须区分观察和物理干预。相机运动揭示了新的表面,而干预则改变了物体的运动、接触和变形。当前的视频世界模型很大程度上是由外观先验驱动的,并且在长期范围内通常会失去物理或空间一致性。我们提出了 TourPhysics,这是一个从单个图像和声明性物理配置初始化的在线框架。 TourPhysics 扩展了 PhysOmni(我们的 ACM Multimedia 2026 工作),从基于有限物理的视频合成到持续的探索和操作。 TourPhysics 将确定性模拟与视频生成相结合,同时为模拟器状态、几何证据、生成器控制和外观记忆分配单独的角色。对于每个动作,模拟器都会在生成相应的观察结果之前计算有限的物理和相机轨迹。接受的观察发布最终状态并更新外观内存和后续生成器控制,而提交的状态和模拟器几何在整个合成和重试过程中保持固定。我们进一步将用于投影和可见性的模拟器几何形状与用于调节发生器的相对深度分开。参考锚定内存通过几何交叉视图对应检索可接受的静态外观,并通过有界残差将其合并,当不存在有效对应时,该有界残差恢复到本机路径。在模拟器定义的摄像机巡视和对象操作中,TourPhysics 比评估的基线更紧密地遵循规定的摄像机和对象轨迹,保留输入场景,并减少长视距重访期间的外观漂移。