用于非接触式物体操作的分散式 LLM 驱动的声学机器人协调

自然语言界面可以简化与多机器人系统的交互，特别是当非专家用户需要发出高级命令时。使用超声波相控阵的声学操纵还可以实现医疗保健、实验室自动化和精密运输等应用的非接触式物体处理。然而，将 大语言模型 (LLM) 与分布式声学移动机器人相结合仍有待探索。本文提出了一种用于自然语言驱动的声学机器人协调的去中心化框架，用于非接触式物体操作。该系统使用基于 Whisper 的语音识别、基于 LLM 的语义解析、结构化 JSON 任务表示和分布式调度，将语音指令转换为可执行的多机器人任务计划。 JSON 模式对机器人分配、时间依赖性、空间约束以及顺序、并行和同步执行的同步要求进行编码。该系统在两个基于 TurtleBot3 的声学机器人上实现，每个机器人都配备了超声波相控阵，用于非接触式物体运输。实验在三种场景下进行：顺序执行、并行多机器人传输和同步协作操纵。该系统的顺序任务成功率为 96%，并行执行任务成功率为 86%，同步协作传输任务成功率为 70%。这些结果表明，自然语言命令可以转换为用于非接触式操作的分布式机器人动作，凸显了 LLM 驱动的自动化在分布式机器人系统中人机交互的潜力。