ORCESTRA：混合现实中 VLM 驱动的视觉机器人编程

ORCESTRA 是一个混合现实系统，用于通过无代码航路点教学和语言引导控制对机器人数字孪生进行编程。在直通混合现实工作空间中，用户将机器人双胞胎放置在真实表面上，教授轨迹，保存与机器人相关的情节，或发出语音/打字命令，视觉语言模型将其转换为结构化数字双胞胎计划。两种交互模式共享一个后端，用于度量基础、实施例感知验证、预览、确认和数字孪生执行。该系统支持异构机器人实施例，包括固定基座操纵器、移动基座和人形机器人，展示了 MR 验证作为物理部署之前语言引导机器人编程的安全层。