基于单目视觉的抓取控制框架

在非结构化环境中抓取需要处理机械性能差异很大的物体，从柔软且可变形的物体到刚性的日常物体。大多数现有方法分别处理这些类别，并且通常依赖于触觉传感、特定于物体的模型或专门的夹具。在本文中，我们提出了一个基于单目视觉的统一抓取框架，该框架仅使用 RGB 输入和位置控制的夹具，在单个控制管道中针对软体和刚性物体。所提出的系统结合了开放词汇对象检测、图像分割、边界感知点分配、实时点跟踪和单目深度估计，以从视觉观察中恢复对象运动和几何形状。该框架的一个关键组成部分是基于语言的刚度估计模型，该模型从对象的语义描述中推断出对象的预期合规性，并提供对象级先验以在接触之前选择抓取策略。对于可变形物体，抓取适应由基于 Procrustes 的相异性度量控制，该度量是根据跟踪的关键点计算得出的，该度量充当变形的视觉代理。对于刚性物体，夹具宽度通过跟踪点距离的缩放来调节。我们在 Franka Emika Research 3 手臂上的现实世界拾放实验中验证了所提出的方法，使用机械性能截然不同的物体，包括生菜、新鲜马苏里拉奶酪、羊角面包、纸巾和硬塑料瓶。结果表明，该框架仅使用视觉反馈即可实现对软体和硬体物体的稳定抓取，突出了用于食品处理和家庭操作的实用、传感器高效且通用的方法。