GeoHeight-Bench：遥感中的高度感知多模态推理

当前地球观测中的大型多模态模型（LMM）主要在平面光学任务上进行评估，并且经常忽略垂直维度，尽管垂直几何结构在灾害响应和城市形态分析等应用中可能至关重要。缺乏系统评估也阻碍了高度感知推理的进展：很少有基准将光学图像与跨像素、对象和场景级推理的高度产品配对。为了解决这一差距，我们引入了 GeoHeight-Bench（一种用于高度感知遥感理解的大型基准），以及更具挑战性的面向地形的扩展 GeoHeight-Bench+。该基准测试是通过可扩展的、VLM 驱动的生成管道构建的，该管道将元数据提取与即时工程相结合，并通过人机交互验证协议评估其质量。为了检查是否可以从光学图像中学习高度感知推理，我们进一步提供了 GeoHeightChat，这是一种高度感知基线，可将隐式高度相关几何表示传输到光学 LMM 中。对各种封闭和开源 LMM 的评估表明，当前模型推理高度信息的能力仍然有限，而调整隐式高度先验可以改善大多数依赖高度的任务。然而，有几项任务，特别是坡度推理和基于地形的洪水敏感性绘图，在很大程度上仍未解决，突出了高度感知的 GeoAI 的具体开放问题。数据集和代码将发布\href{https://teriri1999.github.io/GeoHeight/}{这里}。