论文
Open-AoE：用于具身学习的开放式自我中心操作数据集和工具链
Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning
摘要
以自我为中心的人类操作视频为具体智能提供了可扩展的监督，但现有资源很少将低成本的连续捕获、操作级结构化注释和用于机器人学习的可重用工具结合起来。我们推出 Open-AoE，一个开放的、面向社区的、以自我为中心的操作数据集和工具链，涵盖从智能手机捕获到 模型训练 的整个流程。它的第一个版本包含由 500 多名贡献者使用 400 多部智能手机在自然环境中收集的大约 2,000 小时的操作视频。该数据集提供文本注释、基于 MANO 的手势、相机轨迹和时间局部原子动作。 Open-AoE 还包括一个数据处理管道，可通过时间动作分割、语义注释、手重建和相机轨迹重建将原始记录转换为结构化样本。同时，我们提供了一个单独的下游工具链，支持可视化、跨实施例重定向、特定于模型的数据转换以及 VLA 策略、WAM 和世界模型的训练方法。通过集成可扩展的捕获、结构化处理和下游适应，Open-AoE 减少了数据贡献和重用的障碍，为具体的 模型训练、人机传输和世界建模提供实用的开放基础设施。