利用对象间可供性在接触丰富的任务中进行有效规划

传统的任务和运动规划（TAMP）方法主要侧重于定义动作序列以及执行长期任务所需的几何和运动学约束。然而，它们在现实世界中的适用性是有限的，因为它们通常假设简化的对象模型，而忽略了对于成功执行富含接触的任务至关重要的关键物理属性。此外，他们经常在运动规划过程中使用子符号推理，这大大增加了规划时间并降低了总体成功率。我们提出了一种利用 TAMP 方法，定义以对象为中心的执行约束抽象，称为统一 TAMP (U-TAMP)，来执行涉及具有异构形状、大小和材料的对象之间的交互的机器人任务。使用视觉语言模型（VLM），我们生成对象间可供性的抽象，用于表征接触丰富的任务中对象之间的物理交互约束，例如抓取和支持约束。这些约束用于丰富 U-TAMP 规划域，以处理具有可变物理属性的对象。我们在模拟厨房餐桌组织场景中进行实验，并将我们的结果与原始 U-TAMP 以及基于 VLM 的最先进的规划器进行比较，该规划器利用对象可供性的常识知识来生成计划。与其他方法相比，我们的方法可显着提高规划成功率，并将规划时间缩短一到两个数量级。