通过具有多 LMM 模块的 AI 代理对移动建筑机器人中的即兴任务进行任务感知定位

由于施工性质不断变化，现场的许多任务都是以即兴的方式进行的。现有的移动建筑机器人研究在解决即兴任务方面仍然有限，其中任务所需的位置、任务发生的时间以及任务执行所需的上下文信息都是事先未知的。我们提出了一个智能体，它可以理解自然语言给出的即兴任务，识别任务所需的位置，并定位自己。该代理的功能被分解为三个并行运行的大型多模态模型 (LMM) 模块，从而能够应用 LMM 进行任务解释和分解、基于施工图的导航以及视觉推理来识别非预定义的任务所需位置。该代理是用四足机器人实现的，在旨在评估即兴任务处理的三项测试中，识别和定位任务所需位置的成功率高达 92.2%。这项研究使移动建筑机器人能够自主执行非预定义的任务。