AURA：现实世界城市导航的多模式共享自治

复杂城市环境下的长视距导航严重依赖人类的持续操作，导致疲劳、效率降低和安全隐患。共享自治，即视觉语言人工智能代理和人类操作员协作操纵移动机器，为解决这些问题提供了一种有前景的解决方案。然而，现有的共享自治方法通常需要人类和人工智能在同一行动空间内操作，导致较高的认知开销。我们提出了辅助城市机器人自主（AURA），这是一种新的多模式框架，它将城市导航分解为高级人类指令和底层AI控制。 AURA 结合了空间感知指令编码器，使各种人类指令与视觉和空间环境保持一致。为了促进训练，我们构建了 MM-CoS，这是一个包含远程操作和视觉语言描述的大型数据集。仿真和现实实验表明，AURA能够有效遵循人类指令，减少人工操作工作量，提高导航稳定性，同时实现在线自适应。此外，在类似的收购条件下，我们的共享自治框架将收购频率降低了 44% 以上。项目页面中提供了演示视频和更多详细信息。