论文

JOIN:通过对抗、推理和导航进行锚定-抓握条件连接,用于双手辅助操作

JOIN: Anchor-Grasp-Conditioned Joining via Opposition, Inference, and Navigation for Bimanual Assistive Manipulation

摘要

辅助移动和操纵平台作为残疾人恢复独立性的一种手段受到越来越多的关注。虽然对许多基本日常生活活动 (ADL) 有效,但很大一部分日常任务(例如打开罐子、倒液体、举起托盘或基本膳食准备)基本上需要双手完成,任何单臂系统都无法完成。由于额外的功耗、成本以及转移和移动所需的空间损失,在轮椅上添加第二个扶手是不切实际的。相反,我们提出了一种异构的、按需的双手系统,其中安装在轮椅上的锚臂在需要时由召唤的移动机械臂连接,作为补充臂。我们称之为双手连接的核心技术问题是有条件的:锚已经致力于抓取,而辅助臂必须选择站在哪里以及抓取什么来完成任务。我们将双手连接制定为三个阶段的分解(计划、驱动、抓取),并表明视觉语言模型(VLM)与标准几何工具相结合,提供了足以解决双手 ADL 代表性类别的任务级知识。我们的系统 JOIN 提供 (i) 轮椅参考的反对得分,以及 (ii) 任务条件定向可操作性。我们在具有代表性的相同对象和不同对象任务上评估了 Kinova Gen3 锚点上的 JOIN 和 Hello Robot Stretch~3 补充。 JOIN 比最先进的方法 (14/20) 完成了更多的尝试 (19/20),并且需要操作员进行的纠正明显更少。