APIVOT：具有交错视觉语言思想的自适应规划

长视野机器人规划需要对语义任务结构和几何可行性进行联合推理。为了成功执行任务，机器人必须分解目标，选择与任务相关的对象，并排序动作，同时确保计划满足空间约束，例如有限的自由空间和对象碰撞。在这项工作中，我们提出了 APIVOT，这是一种基于 VLM 的规划器，可以自适应地将语言和视觉思维交错进行长期规划。 APIVOT 学习利用语言进行语义推理，同时使用视觉思维作为想象的未来状态来内部验证几何可行性。在长期厨房任务中，APIVOT 的性能优于通用 VLM 和先前的规划框架，在空间受限的环境中实现了最大的收益。我们发现 APIVOT 学习有意义的模态选择行为，证明视觉-语言思维的自适应交错可以提高规划成功率和推理效率。