论文

EO-Gym:面向地球观测智能体的多模态交互环境

EO-Gym: A Multimodal, Interactive Environment for Earth Observation Agents

智能体系统Agent任务评测

摘要

地球观测(EO)分析本质上是交互式的:消解不确定性往往需要扩展感兴趣区域、检索历史观测,并在光学和合成孔径雷达等传感器之间切换。然而,大多数EO基准将这一过程压缩为固定输入、单轮任务。为弥补这一空白,我们提出EO-Gym,一个面向多模态、使用工具的EO智能体的可控可执行框架,它将EO分析表述为Gymnasium风格的本地地理空间工作区,后端由超过66万个按位置、时间和传感器类型索引的多模态文件支撑,并提供跨越六大任务族的35个EO专用工具。在该环境之上,我们构建了EO-Gym-Data基准,包含9,078条轨迹和34,604个推理步骤,并基于八个公开EO数据集以及Landsat和Sentinel-2影像。对10个开源和闭源VLM的评估表明,强大的通用模型在交互式EO推理上仍然吃力,在时序和跨模态工作流上尤其如此。作为参考基线,通过在EO-Gym-Data上微调Qwen3-VL-4B-Instruct得到的EO-Gym-4B,在主评估设置下将整体Pass@3从0.49提升到0.74。EO-Gym为交互式EO智能体提供了可复现的环境,将EO操作化为一个需要在地理空间、时间和传感模态间进行规划的证据收集问题。

EO-Gym:面向地球观测智能体的多模态交互环境:论文配图
图 1:EO-Gym 框架将 EO 作为一个交互式证据获取问题进行操作。受控环境(左)可以实现跨空间、时间和形态的动态探索。迭代管道(中)合成大规模轨迹数据集。最后,统一的评估协议(右)评估微调模型和基线模型。