翻译作为桥梁行动：将操作技能从人类转移到机器人

我们研究是否可以从人类行为到具有平行夹具的双手动机器人中学习新颖的操作技能。人类行为数据廉价、丰富且多样化，使其成为扩大机器人学习规​​模最有前途的资源之一。然而，将技能从人类转移到机器人仍然很困难：大多数先前的工作将人类视为另一种双手动 6DoF 实施例，其中手部姿势估计是嘈杂的，并且人类手指的接触模式与平行夹具的接触模式根本不同。因此，我们认为从人类数据中学习包含旋转的动作信号并不是最优的，而是提出了一种桥接动作表示：初始头部摄像头框架内的相对手腕平移，这是人类和机器人共享的动作空间。为了处理不同实施例中某些动作组件的潜在缺失，我们构建了一个类似 $π_0$ 的视觉-语言-动作模型，具有交错的动作标记和注意力屏蔽。在一系列新颖的双手操作任务中，我们的桥接动作比嘈杂的 6DoF 人类动作更有效地将人类操作知识传递给机器人，并且可以根据人类数据量进行扩展。