论文
GeoDisaster:灾难地理情报业务协调代理的基准测试
GeoDisaster: Benchmarking Orchestrated Agents for Operational Disaster Geo-Intelligence
摘要
遥感视觉语言模型(RS-VLM)具有先进的地球观测分析能力,可实现视觉解释和指令跟踪,但仍无法实现可操作的地理情报,后者需要基于工具的空间推理和结构化的、有证据支持的决策。我们推出了 GeoDisaster,这是一个可操作的地理空间灾害推理基准,包含 43 种问题类型和 5 个任务系列的 2,921 个经过验证的实例:森林砍伐监测、多灾害分析、建筑损坏评估、洪水安全路线和 Sentinel-1 SAR 洪水监测。实例集成了异构 EO/GIS 证据光学和 SAR 图像、光栅掩模、矢量几何、道路网络和暴露层 - 跨越危险检测、损害评估、暴露估计和诊断报告生成。 真值 答案基于可执行的地理空间工作流程和确定性一致性检查,无需语言模型注释。我们进一步提出了一个精心策划的多智能体框架,其中包含 18 个面向灾难的工具,其中角色专业智能体通过显式执行合约进行协调,并通过角色合约期望调整(RCEA)进行协调:故障感知监督 微调 与密集步骤级信号上基于合约的强化学习相结合。实验表明,GeoDisaster 对现有的 RS-VLM 和代理系统提出了挑战,而 RCEA 则改进了工具使用、证据依据、状态一致性和决策生成。