论文

ModuLoop:使用模块化合成器和闭环调试器进行机器人控制的底层代码生成

ModuLoop : Low-Level Code Generation using Modular Synthesizer and Closed-Loop Debugger for Robotic Control

摘要

大语言模型 (LLM) 在各个领域(包括代码生成和问题解决)都展示了令人印象深刻的性能。然而,它们在机器人控制中的应用,特别是在需要精确操作、实时反馈和依赖于环境的执行的底层任务中,仍然受到限制。为了应对这一挑战,我们提出了闭环模块化代码合成器框架。该框架利用预训练的 LLM(没有任何特定于任务的 微调)来执行模块化代码规划和生成,并迭代执行生成的代码,同时插入调试探针以观察其行为。这种闭环结构有利于系统调试和细化,最终产生可执行的控制程序。我们将所提出的框架应用于 RGB-D 相机和机械臂的校准,验证其在现实环境中的有效性。此外,通过随后的拾放任务,我们不仅展示了校准的准确性,还展示了框架的潜在可扩展性。在这两项任务中,该框架实现了较高的执行精度和自主性,说明了使用我们的框架进行基于 LLM 的机器人控制的实用性和可扩展性。