论文

CLASP:用于开放词汇桌面对象抓取的闭环异步空间感知

CLASP: Closed-loop Asynchronous Spatial Perception for Open-vocabulary Desktop Object Grasping

摘要

机器人对桌面物体的抓取广泛应用于智能制造、物流和农业等领域。尽管视觉语言模型(VLM)在机器人操纵方面显示出强大的潜力,但其在底层抓取中的部署面临着关键挑战:缺乏高质量的多模态演示、弱几何基础导致的空间幻觉以及动态环境中开环执行的脆弱性。为了应对这些挑战,我们提出了闭环异步空间感知(CLASP),这是一种集成了多模态感知、逻辑推理和状态反射反馈的新型异步闭环框架。首先,我们设计了一个双路径分层感知模块,将高级语义意图与几何基础分离。该设计引导推理模型和确定动作元组的输出,减少空间错觉。其次,实现异步闭环评估器来比较执行前和执行后状态,提供基于文本的诊断反馈以建立强大的纠错环,并改善动态环境中传统开环执行的脆弱性。最后,我们设计了一个可扩展的多模态数据引擎,可以自动从真实和合成场景中合成高质量的空间注释和推理模板,而无需人工远程操作。大量实验表明,我们的方法明显优于现有基线,总体成功率达到 87.0%。值得注意的是,所提出的框架在不同对象之间表现出显着的泛化能力,弥合了模拟与真实的差距,并在几何挑战性的类别和杂乱的场景中提供了卓越的鲁棒性。