PerceptTwin：迭代 LLM 规划和验证的语义场景重建

模拟环境对于机器人策略学习和规划验证和验证都很有用。传统上，创建模拟的过程非常繁琐。为机器人运行的每个单独环境创建一个定制的模拟环境是根本不可行的。在这项工作中，我们介绍了 PerceptTwin，这是一个全自动管道，可以直接根据机器人感知堆栈生成的语义场景表示构建交互式模拟。 PerceptTwin 将开放词汇对象图与 3D 资产生成、可供性预测和常识条件检查相结合。这些交互式模拟可用于在机器人硬件上执行之前验证和完善计划。借鉴人工智能对齐文献，我们还引入了 LLM 判断器，用于验证计划的正确性以及与人类偏好的对齐。实验表明，PerceptTwin 反馈使 LLM 规划者能够完善计划、增强安全性并抵御有害的黑盒提示攻击。在我们的任务套件中，PerceptTwin 将 GPT5、GPT5Mini 和 GPT5Nano 规划器的计划成功率平均提高了约 39%。此外，对于因技能先决条件未满足而失败的计划，PerceptTwin 还将人工计划验证平均提高了 18%。我们的结果证明了基于机器人感知的开放词汇场景模拟作为更安全、更可靠的机器人规划的基础的潜力。