论文

Clutt3R-Seg:稀疏视图 3D 实例分割,用于杂乱场景中基于语言的抓取

Clutt3R-Seg: Sparse-view 3D Instance Segmentation for Language-grounded Grasping in Cluttered Scenes

应用与实践视觉感知与空间理解

摘要

可靠的 3D 实例分割是基于语言的机器人操作的基础。它的关键应用在于杂乱的环境中,在这些环境中,遮挡、有限的视角和嘈杂的面具会降低感知。为了应对这些挑战,我们提出了 Clutt3R-Seg,这是一种零样本管道,用于在杂乱场景中进行基于语言的抓取的鲁棒 3D 实例分割。我们的关键思想是引入语义线索的分层实例树。与之前尝试细化噪声掩模的方法不同,我们的方法利用它们作为信息线索:通过跨视图分组和条件替换,树抑制过度分割和分割不足,产生视图一致的掩模和强大的 3D 实例。每个实例都丰富了开放词汇语义嵌入,可以从自然语言指令中准确选择目标。为了处理多阶段任务期间的场景变化,我们进一步引入了一致性感知更新,该更新仅保留单个交互后图像的实例对应关系,从而无需重新扫描即可实现高效适应。 Clutt3R-Seg 在合成数据集和真实数据集上进行评估,并在真实机器人上进行验证。在所有设置中,它在杂乱和稀疏视图场景中始终优于最先进的基线。即使在最具挑战性的重杂乱序列上,Clutt3R-Seg 也能达到 61.66 的 AP@25,比基线高出 2.2 倍以上,并且在仅使用 4 个输入视图的情况下,它就超过了具有 8 个视图的 MaskClustering 2 倍以上。该代码位于:https://github.com/jeonghonoh/clutt3r-seg。