RIVET：以共享对象表示整合VLM生成的机器人程序

构建机器人操纵系统需要通过精心设计的表示和界面将感知、规划和控制连接起来。 VLM 代码生成提供了一种自动化此构建的方法，但独立生成的组件可能会在不兼容的几何和任务级信息上运行。我们提出了 VLM 生成的可执行任务程序的表示引导集成 (RIVET)，这是一个围绕共享的以对象为中心的表示生成完整机器人操作系统的框架。该表示结合了每个对象的 6D 位姿（保留了动作基础所需的度量信息）和关系图，该关系图公开了规划所需的任务级结构。在这种表示的指导下，VLM 生成协作感知、渲染、关系推理和规划程序，每个程序都将特定于任务的计算与有用的可用包相结合。生成的程序针对操作域编写一次，并在不可见的开始和目标配置上重用，无需重新生成代码。我们在模拟和物理机器人上评估 RIVET 的立方体堆叠、七巧板重新排列和三维组装，通过重用离线生成的系统，我们在现实世界中实现了 83% 的总体成功率。我们的结果表明，表示引导的程序生成可以使通用操作框架适应具有不同几何、关系和顺序要求的任务。