通过行为一致表示进行跨实体迁移

通过利用各种机器人实施例的数据集，推动了机器人操作大规模模仿学习的最新进展。然而，实现显着的跨实体转移通常仍然具有挑战性。在这项工作中，我们研究了在视觉-语言-动作（VLA）模型中使用行为对齐表示（例如，对象边界框、语言运动、机器人运动的末端执行器轨迹）来促进跨实体迁移的作用。我们假设，通过在预测机器人动作的同时拥有跨实施例的不变性，这些表示可以帮助统一大规模跨实施例数据以增强传输。为了评估我们的假设，我们开发了一个基于模拟的基准，旨在评估不同跨实施例数据到新实施例的转移。使用这个基准，我们比较不同的表示形式和合并它们的方式。我们发现末端执行器轨迹对于传输特别有利，表示通常对于较大的先验数据集更有用，并且可用于从无动作数据中受益。我们还证明，它们可以增强模拟到真实的跨实体迁移，将根据模拟数据预训练的真实机器人策略的任务完成进度提高 28%。我们在我们的网站上提供评估视频：https://ajaysridhar.com/barx/。