SpaceDex：分层工作空间中的通用灵巧抓取

在分层工作空间中，使用高自由度 (DoF) 灵巧手进行普遍抓取仍然具有挑战性，其中遮挡、狭窄间隙和高度相关的约束比开放桌面场景中的要强得多。大多数现有方法是在相对畅通的环境中进行评估的，并且通常不会明确地对空间约束下手臂导航和手部关节的不同控制要求进行建模。我们提出了 SpaceDex，这是一个在受限 3D 环境中进行灵巧操作的分层框架。在高层，视觉语言模型 (VLM) 规划器解析用户意图、多个摄像机视图之间的遮挡和高度关系的原因，并生成用于零镜头分割和掩模跟踪的目标边界框。该阶段为下游控制提供结构化空间指导，而不是依赖于单视图目标选择。在底层，我们引入了手臂-手特征分离网络，它将手臂的全局轨迹控制与手的几何感知抓取模式选择解耦，减少了到达和抓取目标之间的特征干扰。该控制器进一步集成了多视图感知、指尖触觉传感和一小组恢复演示，以提高对部分可观察性和非标称接触的鲁棒性。在涉及四个类别的 30 多个看不见的物体的 100 次现实世界试验中，SpaceDex 取得了 63.0\% 的成功率，而强大的桌面基线的成功率为 39.0\%。这些结果表明，将分层空间规划与手臂-手表示解耦相结合可以提高空间受限环境中的灵巧抓取性能。