带有障碍物感知Harness的编码代理，用于安全的机器人操作

编码代理已成为一种有前途的机器人操作范例：语言模型将机器人控制器编写为程序，以这种方式构建的代理现在无需进行特定于机器人的训练即可操作机器人。然而，这种范例是否安全还没有被问到。我们在安全约束下评估编码代理，其中每个任务将操作目标与机器人不得接触的障碍物配对。大多数情况下，智能体追求目标但会与障碍物发生碰撞，将任务完成作为唯一目标而忽视安全。智能体根据其痕迹推理出障碍物，并且提示已经禁止触摸它，因此感知和指令都没有错误；错误在于规划，其中规定的约束永远不会成为优先事项。通过将操作分解为路线阶段和接触丰富的时刻，我们找到了故障的根源。沿着路线，模型无法优先考虑安全约束，没有清理路线的概念，并且一旦选择的路线变得不可行，也不会重新规划。在接触处，不知道接触执行受到相同约束的限制。为了弥补这一差距，我们推出了 SafeHarness，它为模型配备了两个障碍物感知Harness，使其能够优先考虑安全约束。障碍感知路线规划将对象作为边界框，并在其上绘制候选路线作为航路点序列。然后，代理提前规划一条路线，对其进行验证，必要时重新规划，然后才执行。相反，障碍感知接触执行会选择接触位置，以便接触本身避开障碍物。 SafeHarness 的任务成功率达到 71.9%，碰撞避免率达到 87.5%，分别比之前的 SOTA 提高了 6.5% 和 27.0%。这些结果分别是未使用Harness的同一代理人的 $2.3\times$ 和 $1.5\times$。