GraspTwin：以数字孪生优化基础模型的任务抓取提案

随着机器人从结构化工厂环境过渡到家庭，它们需要与越来越多的物体进行交互。许多任务都需要抓取，并且通常仅拾起目标物体是不够的。考虑像“倒咖啡”这样的任务——为了方便后续倒咖啡，机器人应该抓住杯子的手柄。现有的基于学习的抓取方法要么找到与任务无关的稳健且无碰撞的抓取（例如，通过其边缘拿起杯子），要么利用基础模型来提出缺乏细粒度物理基础的适合任务的抓取位置（例如，伸手并错过手柄）。在这项工作中，我们将这些方法与真实到模拟到真实的框架联系起来。基于单个 RGB-D 观察，我们构建了环境的数字孪生，查询大型基础模型以提出与对象的可供性和任务描述一致的抓握，然后优化建议以确保鲁棒性和合理性，然后在真实机器人上执行结果。我们的主要见解是，基础模型的抓取提案应被视为语义先验，作为局部、无梯度优化的种子。我们利用贝叶斯优化和汤普森采样来采样成批邻近位姿，随后在域随机化的物理仿真展开下并行评估这些姿势。由此产生的抓握既是面向任务的，又是物理上可行的，可以由机器人手臂执行。与其他最先进的管道相比，我们的完整零样本真实环境迁移只需几分钟，并将任务导向的抓取成功率提高了高达 33%。我们的代码可以在这里找到：https://github.com/VT-Collab/GraspTwin/