习惯：机器人操作的人类感知行为和交互训练数据集

大规模示范数据集一直是通用机器人政策近期进展的核心。然而，现有的数据集是在无人存在的环境中收集的，并且根据此类数据训练的策略可以独立地胜任任务，但无法表现出人类感知的行为。为了解决这一差距，我们引入了 HABIT，这是一个针对人类存在环境的大型机器人演示数据集。我们将任务分为三个角色，捕捉人机交互的不同模式： 协作者，人类和机器人共同完成任务；同事，他们在共享空间中执行不同的任务；主管，人类指挥机器人。该数据集包含超过 10K 个剧集和 160 多个小时，涵盖 60 项任务。我们的实验表明，对人类存在的数据进行训练会引发仅机器人数据无法产生的人类感知行为：协作者任务中的时空同步、同事任务中的让步以及主管任务中的手势与操作的对应。此外，HABIT 训练能够快速适应新的人机交互任务。通过引入人类存在作为数据集多样性的新轴，HABIT 将机器人策略扩展到与人类共享的环境。