论文

EgoVerse:一个以自我为中心的人类数据集,用于来自世界各地的机器人学习

EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World

摘要

机器人学习越来越依赖于大量且多样化的数据,但机器人数据收集仍然昂贵且难以扩展。以自我为中心的人类数据通过捕获日常环境中丰富的操纵行为提供了一种有前途的替代方案。然而,现有的人类数据集通常范围有限,难以扩展,并且跨机构分散。我们推出了 EgoVerse,这是一个用于人类数据驱动的机器人学习的协作平台,它将数据收集、处理和访问统一在一个共享框架下,使个人研究人员、学术实验室和行业合作伙伴能够做出贡献。当前版本包括 1,362 小时(8 万集)的人类演示,涵盖 1,965 个任务、240 个场景和 2,087 个独特的演示者,具有标准化格式、与操作相关的注释和用于下游学习的工具。除了数据集之外,我们还对人机转移进行了大规模研究,并在共享协议下在多个实验室、任务和机器人实施例中复制了实验。我们发现,政策绩效通常会随着人类数据的增加而提高,但有效的扩展取决于人类数据和机器人学习目标之间的一致性。数据集、平台和研究共同为人类数据驱动的机器人学习的可重复进展奠定了基础。视频和其他信息可以在 https://egoverse.ai/ 找到