通过 VLM-LLM 推理和可达性分析实现安全多机器人协调

当机器人的传感能力、环境意识和运动执行角色不同时，异构机器对机器 (M2M) 机器人系统中的安全协调就面临着挑战。本文提出了一种集中式安全感知 M2M 框架，用于在异构移动机器人团队中进行协作目标导向导航，该团队由具有视觉功能的四足机器人和无摄像头机器人车辆组成。目标是引导两个平台走向目标区域，同时避开静态和动态障碍并防止不安全的机器人间交互。在共享感知的原则下，具有视觉功能的机器人通过 MQTT 代理上的集中式服务器提供语义环境感知，使无摄像头平台能够使用这种共享场景表示及其自己的里程计、IMU 和状态反馈进行导航。视觉语言模型 (VLM) 解释视觉流，并将提取的语义数据映射到保守的度量几何约束，包括膨胀的障碍物集、安全走廊和目标区域。大型语言模型（LLM）提出高级任务分配，而物理命令权限仅限于机器人特定的区域可达性门。该验证引擎传播独立的可达管道，以在批准命令之前评估避障、安全走廊遏制和机器人间分离谓词。跨越畅通路径和动态障碍物场景的在线实验表明，该管道可靠地批准安全运动，在违反约束时触发保守的重新规划或保持操作，并在咨询语义推理和形式验证的运动执行之间强制执行严格的架构分离。