PointZero：用于学习可迁移 3D 动力学的 3D 点轨迹完成

世界模型赋予感知系统预测场景在交互下如何演变的能力。当对不同数量的数据进行训练时，它们最有益，可以将丰富的先验知识灌输到下游应用程序中。现有方法通常需要机器人动作标签来学习动作条件 3D 动态，这从训练池中排除了网络视频数据。我们研究 3D 点轨迹完成作为预训练目标，以便在没有机器人数据的情况下学习可转移的 3D 动力学。给定单个 RGB-D 观察和稀疏的部分 3D 轨迹（轨迹），我们预测所有观察点的未来 3D 轨迹。我们证明这个目标可以产生丰富的 3D 动态先验，而不需要机器人动作标签。我们贡献了包含 290 万个合成框架的多样化数据集，涵盖可变形、铰接和刚性物体，并用它来训练 PointZero。我们证明了灵活且富有表现力的转换器 PointZero 在相同数据上优于先前的方法。我们通过对 PointZero 进行后训练来展示我们的预训练目标对于两个下游应用的实用性：(1) 动作条件 3D 动态预测和 (2) 模仿学习。当根据末端执行器姿态条件进行微调时，PointZero 的性能优于最近的 PGND 3D 动态基准测试的基线。当经过微调来预测机器人动作和 3D 轨迹时，PointZero 在 6/7 模拟和现实机器人操作任务上的表现优于或匹配基线。此外，我们还从头开始评估训练 PointZero，以将我们提出的架构的优点与我们提出的预训练目标和数据集的优点分开。我们发布数据集、检查点和完整的训练方法。