Imagine-TAMP：部分可观测性中的想象引导任务和运动规划

在杂乱环境中运行的机器人必须经常操纵位置只能部分观察到的物体。一个核心挑战是决定是获取另一个观察结果还是首先操纵可能遮挡目标的物体。传统的任务和运动规划 (TAMP) 方法通常使用符号动作成本或昂贵的几何规划来做出此决策，这两种方法都无法充分捕获观察结果揭示被遮挡目标的可能性。我们引入了 Imagine-TAMP，这是一个交错的规划和执行框架，它使用语义和几何想象力在部分可观察性下比较替代任务级策略，然后再进行昂贵的运动规划。视觉语言模型使用目标和可见物体之间的常识关系来塑造对目标位置的粒子信念，而生成场景模型则估计未观察区域中的合理几何形状。给定目标假设和想象的场景，Imagine-TAMP 会生成多个符号计划骨架，并分配近似操纵工作量和来自感知动作的目标可见性的非单位成本，从而将简短但信息贫乏的观察策略与首先操纵遮挡物以更好地暴露目标的较长策略区分开来。然后将选定的框架细化为可行的连续计划并执行，新的观察结果会更新信念并在必要时触发重新计划。实验表明，想象力引导的评估改善了观察与操作决策：在视点受限的货架场景中，非单位几何评估将成功率从 46.0% 提高到 84.0%，而语义信念塑造进一步减少了操作和重新规划。在真实的机器人上，相对于仅几何形状的消融，完整的系统将规划时间减少了 32%。