RoboArchitect根据机器人回合证据自动改写Harness并演化持久记忆

最近的研究表明，冻结的机器人策略在智能体运行框架（harness）内执行得更好，其中控制代码决定何时查询策略、查阅视觉工具或直接命令手臂。然而如今，这些 harness 都是手工构建的，并针对每个新机器人或基准进行了重新设计。我们展示了 harness 设计可以自动化，为在新配置上微调模型提供了一种有力替代方案。在 RoboArchitect 中，编码模型观察机器人的执行轨迹、诊断故障，并围绕冻结策略迭代修改 harness。 harness 在一组回合上进行了优化，并根据留出的场景和任务进行了评估。在不更新任何模型权重的情况下，RoboArchitect 在多个基准和策略中将未见场景的平均成功率从 9.7% 提高到 43.3%（4.5 倍），将未见任务的平均成功率从 12.7% 提高到 40.2%（3.2 倍）。当基准远离策略的训练数据时，收益最大：通过封装通用策略，进化后的 harness 产生的专家通常甚至优于微调版本。系统能自动设计符合直觉的控制策略，例如将卡住的机械臂抬离障碍，或在上方受阻时水平伸入。 harness 还进化了自己的持久记忆，将学到的经验（例如有效抓取深度）带入以后的决策中。这些结果表明，机器人操纵的巨大空间在于智能体运行框架（harness），其设计可以有效地自动化和优化，而无需更新权重。