论文
JoyAI-RA 0.1：机器人自主的基础模型
JoyAI-RA 0.1: A Foundation Model for Robotic Autonomy
摘要
开放世界环境中的机器人自主性从根本上受到数据多样性不足和跨实体泛化能力差的限制。现有的机器人数据集通常在规模和任务覆盖范围上受到限制，而机器人实施例之间相对较大的差异阻碍了有效的行为知识转移。为了应对这些挑战，我们提出了 JoyAI-RA，这是一种专为通用机器人操作量身定制的视觉-语言-动作（VLA）体现基础模型。 JoyAI-RA提出了一个多源多层次预训练框架，集成了网络数据、大规模以自我为中心的人类操作视频、模拟生成的轨迹和真实的机器人数据。通过对具有明确动作空间统一的异构多源数据进行训练，JoyAI-RA 有效地弥合了具体化差距，特别是人类操作和机器人控制之间的差距，从而增强了跨具体化行为学习。 JoyAI-RA 在模拟和现实世界基准测试中都优于最先进的方法，特别是在具有泛化需求的各种任务上。