论文

ContactGaussian-WM:从视频中学习基于物理的世界模型

ContactGaussian-WM: Learning Physics-Grounded World Model from Videos

摘要

开发理解复杂物理相互作用的世界模型对于推进机器人规划和仿真至关重要。然而,现有方法通常很难在数据稀缺和复杂的接触丰富的动态运动条件下准确地对环境进行建模。为了应对这些挑战,我们提出了 ContactGaussian-WM,这是一种基于物理的可微刚体世界模型,能够直接从稀疏和接触丰富的视频序列中学习复杂的物理定律。我们的框架由两个核心组件组成:(1)视觉外观和碰撞的统一高斯表示(2)端到端可微学习框架,通过封闭式物理引擎进行微分,从稀疏的视觉观察中推断物理属性。广泛的模拟和现实世界评估表明,ContactGaussian-WM 在学习复杂场景方面优于最先进的方法,表现出强大的泛化能力。此外,我们展示了我们的框架在下游应用中的实际效用,包括数据合成和实时 MPC。