论文
走向具体的空地协作目标搜索:基准、数据集和代理方法
Towards Embodied Air-Ground Cooperative Object Search: Benchmark, Dataset and Agentic Method
摘要
城市环境中的空地目标搜索(AGOS)是一项具有挑战性的具体任务,需要无人机(UAV)和无人地面车辆(UGV)联合从多视角视觉参考中搜索和验证指定的目标车辆。为了研究这个尚未探索的问题,我们引入了 AGOS-Bench,这是第一个用于评估通用视觉语言模型 (VLM) 是否可以通过 UAV-UGV 合作集成空中发现和地面验证的专用基准。我们进一步提供 AGOS 数据集作为自动管道构建的示例性轨迹的伴随资源。它由 7.7k 集组成,用于搜索不同类别和属性的对象,跨越三个难度级别。为了解决 AGOS 任务,我们提出了 AGOS-Agent,一种 无需训练 和工具增强方法。代理方法通过深思熟虑的搜索-切换-验证合作协议使 VLM 免于复杂和动态的协调,只要求 VLM 进行场景理解和决策。对九个 VLM 进行的广泛实验表明,AGOS-Agent 提高了九个评估骨干网中八个骨干网的总体成功率,同时减少了所有九个骨干网的决策步骤。在硬分割上,Gemini-3.6-Flash的SR和SPL分别从8.6%增加到55.7%,从7.6%增加到44.0%。