论文
360CityArena:实体代理的现实虚拟城市导航基准
360CityArena: A Realistic Virtual Urban Navigation Benchmark for Embodied Agents
摘要
我们推出了 360CityArena,这是一个基准,用于评估实体主体在由 360 度视频构建的逼真环境中的城市探索能力。现有的户外基准要么缺乏足够的真实感,要么不够复杂,导致与现实世界的城市环境存在相当大的差距。 360CityArena 基于日本东京秋叶原区的真实重建,使用覆盖 85 条街道的 602 个 360 度视频片段,并由 175 个精心设计的任务组成。它包含环境理解、路径推理和空间推理三个任务类别,涵盖城市探索所需的基本能力,例如定位、地标搜索、路径规划和关系空间推理,从而能够在现实城市场景中进行综合评估。我们使用最先进的基于 LMM 的代理进行的评估表明,即使是最强大的模型 Gemini 2.5 Flash,其性能也远低于人类水平(人类:77.3% vs. Gemini 2.5 Flash:17.1%),揭示了城市规模的具体导航和推理中仍然存在的巨大挑战。 360CityArena 为逼真的市区导航和空间推理提供了必要且具有挑战性的测试平台。