通过物理世界建模进行感知 3D 模拟

预测图像经过所需的 3D 变换后场景将如何演变是视觉、图形和机器人技术的核心目标。然而，与完全访问 3D 几何和动力学的理想模拟器不同，现实世界系统必须依赖于本质上是部分和不完整的感知输入和本地操作。在这项工作中，我们提出了 P3Sim，一个物理世界建模系统，可以在部分观察和不完整 3D 变换信号下模拟未来场景状态。 P3Sim 由三个交互组件组成：学习的物理世界模型、几何调节模块和持久场景记忆。世界模型将感知解释为对多模态场景变量的概率推理，提供以其他任何组合为条件的任何场景变量的分布预测。几何调节模块提供部分 3D 变换信号，用于在推理时调节世界模型。持久场景记忆集成了随时间变化的预测，从而实现了不确定性下的在线更新和一致性。通过将学习的推理与显式几何结构相结合，P3Sim 平衡了数据驱动的灵活性与内置的归纳偏差。该设计产生了一个灵活的感知模拟器，可泛化各种 3D 转换任务，例如新颖的视图合成、对象操作和动态场景预测，从而向通用 3D 场景理解和转换迈进。