3D 点世界模型：点完成可实现更准确的动态学习

学习世界的预测模型可以通过规划来实现机器人控制，从而有可能让机器人针对新任务即兴提供解决方案。然而，基于视频的大型动态模型缺乏明确的 3D 空间结构，并且会遭受几何不一致的长程预测轨迹以及复合误差的影响。基于部分点云的新兴 3D 动力学模型提高了几何一致性，但仍然对遮挡和累积预测漂移敏感。为了应对这些挑战，我们提出了 3D 点世界模型 (3DPWM) - 一种与任务无关的世界模型，它完全在 3D 空间中运行，首先完成部分点云，然后在这个完整的 3D 场景中学习动作条件动力学。通过对完整的几何体进行操作，3DPWM 可以实现可靠的长程预测轨迹，并为基于模型的规划提供更准确的成本评估，同时支持适应新任务。不同机器人实施例和桌面操纵基准的实验表明，3DPWM 实现了显着更可靠的长范围部署（100-300 多个步骤），支持开环和闭环规划，并实现成功的模拟到真实的转换。