PhysMani：用于动态对象操作的物理原理 3D 世界模型

对于嵌入式 AI 来说，在非结构化 3D 环境中操纵快速且动态移动的目标仍然是一项挑战。现有的视觉-语言-动作模型和世界模型在精确的 3D 几何和物理意义的预测方面遇到了困难。我们提出了 PhysMani，一个将物理学原理的 3D 高斯世界模型与未来感知行动政策模型结合起来的框架。世界模型通过在线优化学习无散高斯速度场，以进行快速且基于物理的未来动态预测。该策略模型通过基于可学习词元的交叉注意力模块集成了预测的 3D 场景未来动态。我们推出了 PhysMani-Bench，这是一个包含 16 项任务的动态操纵基准，并在模拟和现实世界的机器人实验中展示了优于强基线的成功率。