SECOND-Grasp：语义接触引导灵巧抓取

实现可靠的机器人操作，例如灵巧的抓取，需要物理稳定的交互和语义任务指导之间的协同作用，但这些目标通常被视为独立的、不相交的目标。在本文中，我们研究了如何整合灵巧的抓取技术，即用于物体提升的物理稳定抓取和语言引导抓取生成，以实现物理稳定性和语义理解。为此，我们提出了SECOND-Grasp（SEmantic CONtact-guided Dexterous Grasping），这是一个统一的框架，使机器人手能够基于语义推理动态调整抓取策略，同时确保物理可行性。我们首先通过视觉语言推理获得粗略的接触建议，以根据对象属性推断接触应该发生的位置，然后进行分割以跨视图定位这些区域。为了进一步确保多个视点之间的一致性，我们引入了语义几何一致性细化（SGCR），它通过在视图之间强制执行语义一致性并删除几何无效区域来细化初始接触预测，从而生成可靠的 3D 接触图。然后，我们通过逆运动学为每个接触图导出可行的手部姿势，生成用于策略学习的监督信号。我们的方法在 DexGraspNet 上进行训练，在提高可见类别和不可见类别的成功率方面始终优于基准，分别达到 98.2% 和 97.7%，同时还将意图感知抓取提高了 12.8% 和 26.2%。我们进一步在其他数据集和机器人手（包括 Shadow Hand 和 Allegro Hand）上展示了有希望的结果。