论文

Phone2Act:用于可扩展 VLA 数据收集的低成本、与硬件无关的远程操作系统

Phone2Act: A Low-Cost, Hardware-Agnostic Teleoperation System for Scalable VLA Data Collection

摘要

对于许多研究小组来说,为视觉-语言-动作 (VLA) 模型训练 收集多样化、高质量的操作数据仍然非常昂贵,因为现有的远程操作框架依赖于专用硬件或与特定的机器人平台紧密耦合。我们推出了 Phone2Act,这是一种低成本、与硬件无关的远程操作框架,可通过 Google ARCore 将商用智能手机转变为 6 自由度机器人控制器。 Phone2Act 基于模块化 ROS 2 架构构建,通过可互换的桥接节点将控制逻辑与硬件细节解耦,无需修改代码即可支持从工业协作机器人到低成本双手臂的平台。通用记录器将多摄像头 RGB 流与机器人状态反馈同步,并以 LeRobot 数据集格式本地导出演示,从而消除后处理并启用即时 VLA 微调。我们通过 微调 GR00T-N1.5 在 130 个收集的情节上验证了该框架,在部署在物理 Dobot CR5 上的现实世界多阶段拾取和放置任务中实现了 90% 的成功率。