WARPED：手腕对齐渲染，用于从以自我为中心的人类演示中学习机器人策略

最近在人类示范学习方面取得的进展在解决训练稳健的视觉运动策略所需的数据收集的可扩展性和高成本方面显示出了有希望的结果。然而，现有的方法通常受到对多视图相机设置、深度传感器或定制硬件的依赖的限制，并且通常仅限于第三人称或以自我为中心的相机执行策略。在本文中，我们提出了 WARPED，一个旨在从人类演示视频中合成真实手腕视图观察结果的框架，以促进仅使用单眼 RGB 数据进行视觉运动策略的训练。通过从以自我为中心的 RGB 相机收集的数据，我们的系统利用视觉基础模型来初始化交互式场景。然后采用手-物体交互管道来跟踪手和被操纵的物体，并将轨迹重新定位到机器人末端执行器。最后，通过高斯溅射合成逼真的手腕视图观察结果，以直接训练机器人策略。我们证明，WARPED 的成功率与针对五种桌面操作任务的远程操作演示数据训练的策略相当，同时需要的数据收集时间减少了 5-8 倍。