论文
SatNav:城市尺度无人机视觉语言导航基准
SatNav: A Scalable Benchmark for Long-Horizon UAV Vision-Language Navigation from Satellite Imagery
摘要
城市无人驾驶飞行器(UAV)视觉语言导航(VLN)要求智能体在扩展的城市空间中遵循指令,这本质上需要长期记忆和地理空间基础。然而,扩展现有基准仍然很困难,因为它们依赖于昂贵的重建 3D 资产,限制了地理多样性和任务回合规模。为了解决这个问题,我们推出了 SatNav,这是一种根据高分辨率卫星图像构建的可扩展的长程无人机 VLN 基准。 SatNav 的目标是城市级导航任务,并使用卫星图像裁剪作为无人机垂直俯视图的近似值进行视觉观测。通过自动提示到任务回合管道,SatNav 从 18 个城市的 59 个场景构建了 118K 任务回合,平均轨迹长度为 379 m。为了对长视野记忆和地理空间推理进行压力测试,SatNav 定义了三个任务系列:边界、地标和路线、目标循环进度跟踪、基于地标的空间定位以及带有计数线索的路线跟踪。对 SatNav 上的经典 VLN 智能体和基于大型视觉语言模型 (LVLM) 的最新智能体进行基准测试表明,城市规模的导航仍然具有挑战性。我们进一步介绍了 SwiftVLN,一个具有可切换内存组件的模块化框架,并进行了系统的内存设计消融。最后,卫星到无人机的迁移实验表明,卫星训练的导航模型可以在真实飞行的无人机观测上运行,显示了卫星导航的实际意义。我们的项目页面:https://eku127.github.io/SatNav/
