通过开放数据、训练和评估进行可扩展的行为克隆

我们介绍 ABC，一个完全开源的堆栈，用于通过行为克隆进行操作。其核心是 ABC-130K：迄今为止最大的开源远程操作数据集，包含 3,500 小时的数据，涵盖 195 个不同任务的 130K 多个片段。此外，我们还开源了可访问的硬件设置、训练基础设施和模拟管道。我们还发布了 400 小时的 sim-teleop 数据，并提供了一个协同训练方案，可产生相关的模拟和现实世界评估，为在昂贵的现实世界评估之前消除模型设计和训练决策提供可靠的代理。我们探索了各种训练方法，并比较了 Diffusion Transformer (DiT) 和视觉-语言-动作 (VLA) 模型的常见架构选择，将我们的发现基于现实世界的评估。由此产生的策略成功地执行了灵巧的任务，例如折叠盒子和从钱包中提取信用卡。通过提供可重复的工具包，我们的目标是将研究人员置于平等的基础上，为作为一个社区共同学习行为克隆的基础知识奠定必要的基础。