论文
解码灾难:利用视觉语言模型和众包图像进行灾难绘图的多任务地理空间推理
Decoding the Disaster: Multi-Task Geospatial Reasoning with Vision-Language Models and Crowdsourced Imagery for Disaster Mapping
摘要
众包图像为灾害测绘提供及时、细粒度的街道级观测,补充了应急响应期间的传统遥感图像 (RSI)。然而,此类图像通常是非结构化的、空间模糊的,并且缺乏可靠的地理元数据,使得手动地理定位和解释成为劳动密集型且难以扩展。这项工作提出了一个多任务地理空间推理灾难绘图框架,即 GRDisaster,以研究视觉语言模型(VLM)在理解、地理定位和众包灾难图像推理方面的潜力。 GRDisaster 建立在源自 PhotoMappers 的新策划基准数据集的基础上,其中包含 26,340 张图像,这些图像被组织成经人工验证的志愿地理信息 (VGI)、街景图像 (SVI)、RSI 交叉视图三元组,涵盖 2018 年至 2024 年的多个灾难事件。该框架将确定性和概率性交叉视图地理定位与多视图融合相结合,将 VGI 图像与地理参考的 SVI 和 RSI 相关联。它引入了两套空间推理指标,用于跨视图地理定位验证和灾害损失评估。这些指标使用结构、环境和全球场景线索来验证交叉视图对应关系和视觉上可观察到的损害证据以及经过专家验证的注释,以评估灾害严重程度,从而提高 VLM 输出的可解释性。据我们所知,这项研究提供了第一个系统调查和统一的评估框架,用于研究基于 VLM 的空间推理如何通过跨视图地理定位验证、可解释的空间推理和损害感知严重性评估将众包灾害图像转化为可操作的地理空间人工智能 (GeoAI)。