从感知到协助：机器人操作的开放词汇共享自主性

在工业环境中远程操作机器人操纵器需要精确度，而仅基于摄像头的界面很难提供这种精确度。操作员必须在有限的深度感知下将末端执行器与混乱中的目标对齐，并且不与周围结构发生碰撞。本文提出了一个共享自治框架，可以在整个过程中为操作员提供帮助。单个 RGB-D 摄像头可捕获操作员的手臂运动和手势，无需可穿戴设备、基准点或校准台。预期目标由自由格式的文本提示指定，以机器人抓取相机中的视觉语言模型为基础，并通过提示视频分割模型在其机载相机上进行跟踪，从而产生与障碍物地图连续分离的抓取框架。每个命令的运动均由 GPU 加速的模型预测控制器执行，该控制器强制避免在线体积重建的自碰撞和环境碰撞，而势场则在最终接近过程中纠正操作员对已定位目标的参考。自主模式可以通过手势触发来完成对同一目标的抓取，而无需单独的感知管道。该框架在四足移动机械臂上进行了验证。该接口相对于运动捕捉 真值 实现了 59 毫米的位置 RMSE，并且控制器使手臂与障碍物保持至少 18 厘米的距离，而操作员故意命令手臂进入障碍物 6 厘米。在工业阀门操纵和拾放任务中，完整的框架在所有试验中都取得了成功，同时通过补充机制消除了碰撞或辅助模块产生的故障，并且自主执行在每个任务的五次试验中有四次取得了成功。