论文

SkillComposer:学习自然语言机器人编程的可重用技能

SkillComposer: Learning Reusable Skills for Natural-Language Robot Programming

智能体系统Agent 架构与控制循环

摘要

自然语言界面可以降低机器人编程的门槛,但当用户请求复杂的任务时,现有系统就会陷入困境。虽然 大语言模型 (LLM) 在使用简单命令时表现良好,但它们通常很难为多步骤任务生成代码、分解高级指令或重用先前的解决方案。我们推出了 SkillComposer,这是一种用于模拟环境的交互式自然语言机器人编程系统,可以不断学习可重用的程序抽象。 SkillComposer 使用生成测试架构,其中 LLM 在执行之前迭代生成和修改机器人程序。成功的程序由在线库学习算法存储和处理,该算法将重复出现的函数序列压缩为可重复使用的宏技能,以供将来的任务使用。我们通过消融实验和 12 名参与者的用户研究来评估 SkillComposer,以确定其在操作和机器人护理任务方面的有效性。结果表明,评估者引导的生成和学习的抽象提高了成功率和可用性,同时减少了用户在自然语言机器人编程中的工作量。