Ego2Robot：从以自我为中心的人类数据合成可扩展的机器人数据

学习可推广的机器人操纵策略需要大规模且多样化的演示数据。以自我为中心的人类操作视频提供了丰富的场景和任务多样性，之前的工作表明，将此类视频重新定位并渲染为机器人格式的数据可以在小规模下产生有效的每任务策略。然而，这种方法是否能为大规模的视觉-语言-动作模型提供预训练的好处仍有待探索。我们提出了 \textbf{Ego2Robot}，这是一个可扩展的管道，通过动作重定向、机器人手臂视觉合成和多级质量管理，将以自我为中心的人类操作视频转换为机器人训练数据。 Ego2Robot 支持精选数据集和野外视频，生成涵盖 15 个机器人形态的 18,561 小时的机器人训练数据，使其成为迄今为止最大的自我到机器人数据集。为了评估泛化能力，我们使用涵盖视觉外观、场景布局、实施例形态和任务语义的解缠扰轴扩展了 RoboTwin2.0。实验表明，对 Ego2Robot 合成数据和机器人数据进行联合预训练可以持续改善多种扰动类型的分布外泛化，并在实际机器人部署中验证了其优势。项目页面：https://www-ye.github.io/ego2robot_blog/