基于基础模型的自主人形抓取快速部署管道

部署人形机器人来操纵新物体传统上需要一到两天的时间：数据收集、手动注释、3D 模型获取和 模型训练。本文提出了一种端到端的快速部署管道，它集成了三个基础模型组件，将新对象的启动周期缩短到大约 30 分钟：（i）基于 Roboflow 的自动注释，以协助训练 YOLOv8 对象检测器； (ii) 基于 Meta SAM 3D 的 3D 重建，无需专用激光扫描仪； (iii) 基于 FoundationPose 的零样本 6-DoF 位姿跟踪，直接使用 SAM~3D 生成的网格作为模板。估计的姿势驱动基于 Unity 的反向运动学规划器，其关节命令通过 UDP 传输到 Unitree~G1 人形机器人，并通过 Unitree SDK 执行。我们展示了 mAP@0.5 = 0.995 的检测精度、$σ< 1.05$ mm 的位姿跟踪精度，以及在工作空间内的五个位置上成功抓取真实机器人的能力。我们进一步验证了该管道在汽车车窗涂胶任务上的通用性。结果表明，将感知基础模型与日常成像设备（例如智能手机）相结合可以大大降低人形操纵任务的部署障碍。