论文

TerraLogic:地球观测中分层地理空间推理的基准

TerraLogic: A Benchmark for Hierarchical Geospatial Reasoning in Earth Observation

模型评测基准与评测资源

摘要

除了感知之外,推理对于遥感中的高级解释、推理和决策也至关重要。 大语言模型 (LLM) 的最新进展使得工具增强代理能够利用外部工具来执行复杂的分析任务。然而,现有的遥感研究主要集中在面向感知的任务,而认知地理空间推理在很大程度上尚未得到充分探索。为了解决这一差距,我们引入了 TerraLogic,这是地理空间推理的基准。 TerraLogic 包含 545 个场景驱动的层次感知任务,例如灾害脆弱性评估、城市热岛分析和森林破碎动态,涵盖光学、合成孔径雷达 (SAR) 和红外 (IR) 图像。它将评估从识别和监控扩展到认知级地理空间分析。为了促进对 TerraLogic 的评估,我们进一步提出了 HieraPlan,这是一种工具增强代理,可将工具包组织成功能层次结构并执行容错推理。 HieraPlan 支持结构化抽象、工具故障的稳健恢复以及稳定的长期规划。大量实验表明,当前的方法在分层地理空间推理方面存在困难,而 HieraPlan 提供了一个强大的基线,具有改进的推理、跨模式泛化和错误处理。数据集和代理代码可在 https://github.com/Ireliya/TerraLogic 上公开获取。