SimEX：仿真集成机器人 AutoResearch

由大语言模型 (LLM) 提供支持的编码Agent已显示出在数字世界中自主推理和实现目标的卓越能力。然而，将这一成功带入现实世界仍然具有挑战性。一方面，直接生成方法（例如，代码即策略）常常受到大语言模型对机器人和物理环境了解不足的困扰。另一方面，物理世界中的迭代试错调整（例如物理自动研究）会引起重大的实验成本和安全问题。我们推出 SimEX：模拟集成机器人自动研究，这是一个紧密集成模拟实验的自动研究框架，使编码Agent能够有效地获取控制真实机器人的物理能力。 SimEX 分两个阶段运行。首先，Agent在模拟中进行开放式探测和优化迭代，开发具有强大且可泛化能力的机器人工具箱。其次，Agent仅通过几次物理试验就可以将工具箱和模拟器结合在一起：每次试验都会纠正模拟器，纠正后的模拟器用于诊断故障并筛选候选修复。我们在模拟到模拟设置和物理机器人上广泛评估 SimEX。在具有挑战性的现实世界操作任务中，包括毛巾折叠、条形码扫描和盘子操作，SimEX 使编码Agent能够有效地获得机器人技能，无需任何演示，只需 10 分钟的真实机器人交互。这些结果表明，模拟可以成为实现物理智能的关键组成部分，不仅作为必须紧密复制现实世界的训练数据源，而且作为一个大致正确的实验室，编码Agent开发对机器人采取行动所需的知识和程序。更多详细信息和机器人视频，请访问 https://robo-simex.github.io/