论文

EgoLive:来自现实世界人类任务的大规模自我中心数据集

EgoLive: A Large-Scale Egocentric Dataset from Real-World Human Tasks

模型评测基准与评测资源

摘要

目前,大规模、高质量数据集的缺乏阻碍了机器人学习的进步。虽然远程操作和通用操作接口等已建立的数据收集方法在当前数据集中占主导地位,但它们在可扩展性和现实世界的可部署性方面存在固有的局限性。相比之下,人类以自我为中心的视频收集已成为一种有前景的方法,可以实现可扩展、自然和野外的数据收集。因此,我们推出了 EgoLive,这是一个专门为机器人操作学习而设计的大规模、高质量的以自我为中心的数据集。与现有的以自我为中心的数据集相比,EgoLive 建立了三个独特的技术优势:首先,它代表了迄今为止最大的开源带注释的以自我为中心的数据集,专注于迄今为止以现实世界任务为导向的人类例程;其次,它通过定制的头戴式采集设备和全面的高精度多模态注释提供领先的数据质量;第三,所有数据都是在不受约束的现实场景中收集的,涵盖了垂直领域的人类工作数据,包括家居服务、零售和其他实际工作场景,具有优越的多样性和生态有效性。通过推出 EgoLive,我们的目标是为研究社区提供可扩展的高质量数据集,加速通用机器人模型的突破,并促进机器人系统的实际部署。