一路规划：部分可观察操作中 TAMP 执行的事件触发基础模型规划

在部分可观察的环境中进行操作需要在不完整的场景信息下进行规划。在这种情况下，最初有效的计划可能会成功执行，但仍不足以完成任务。现有的基础模型引导任务和运动规划 (TAMP) 系统可以生成有用的长期任务分解、子目标或约束，但它们通常假设可以访问完全指定的场景状态，或在子目标、细化或执行尝试失败后调用模型级重新规划。我们提出了 ROBUST TAMP，这是一种用于反应性 TAMP 的模块化 LLM/VLM 引导规划框架，其中不可见的任务相关和非目标对象可能在执行过程中变得可见。该框架将基础模型规划器限制为当前可见的关系场景状态，根据严格的可执行接口验证生成的任务级操作，并将接受的操作路由到特定于场景的执行适配器。对象发现被视为一个独特的重新规划事件，并且在稳定的执行范围后，系统重建可见场景状态并使用已完成的动作历史记录和结构化重新规划事件上下文进行重新规划。对六个 RLBench/CoppeliaSim 厨房和烧烤变体进行评估，涉及隐藏对象、非目标对象发现、铰接式容器交互和时间操纵程序。我们在相同的验证、执行、监控和重新规划管道下比较不同规模的纯文本 LLM 和 VLM 规划器，报告任务成功、部分目标完成、发现和失败触发的重新规划行为、隐式非目标对象处理和规划器推理成本。