论文
Ego4WAM:在扩展以自我为中心的人类数据以进行机器人学习时,什么重要?
Ego4WAM: What Matters When Scaling Egocentric Human Data for Robot Learning?
摘要
以自我为中心的人类数据为机器人学习提供了可扩展的经验来源,但在人机对齐、行为覆盖范围和可用监督方面存在很大差异。现有的工作显示出随着人类数据的增加而有利的扩展,但仍不清楚哪些数据属性驱动下游机器人增益以及如何在整个训练管道中使用这些数据。我们在统一的世界行动模型框架下对具有不同调整和监督的以自我为中心的人类数据进行了系统研究。模型主干固定后,我们就可以理清人机对齐、数据持续时间和任务多样性、动作监督和数据使用策略的影响。我们发现,一致的人类演示大大提高了分布外泛化能力,并减少了目标任务机器人数据需求;数据持续时间和任务多样性对下游能力的影响不同;没有动作标签的纯视频监督仍然有效,为后续的视频动作训练提供了坚实的基础。我们通过对真实机器人和 RoboDojo 进行闭环策略评估来验证这些发现。 Ego4WAM 并没有将数据持续时间视为唯一的缩放轴,而是展示了对齐、任务多样性、可用监督和使用策略如何共同塑造以自我为中心的人类数据对机器人学习的价值。