DamageScope：大规模视觉语言检索，用于卫星图像的灾害损失评估

自然灾害发生后，及时、准确地评估财产损失至关重要。传统的现场检查劳动强度大、成本高，且常常存在安全风险。卫星图像和视觉语言模型（VLM）的进步实现了可扩展的远程损害评估；然而，将 VLM 集成到大规模地球观测管道中给计算效率、数据组织和信息检索带来了挑战。为了应对这些挑战，我们推出了 DamageScope，这是一种检索增强框架，它将卫星图像与视觉语言模型 (VLM) 和 大语言模型 (LLM) 相结合，以自动进行财产损失分析。 DamageScope 基于检索增强生成 (RAG) 框架构建，从卫星图像中提取结构化视觉表示，以支持用于损害评估的交互式自然语言查询。为了解决可扩展性问题，我们引入了一种新颖的基于多向量嵌入的聚类算法，该算法优于传统的单向量嵌入方法，同时将索引时间缩短高达 14 倍。此外，双存储数据架构最大限度地减少了 LLM API 调用，从而将运营成本和响应延迟降低了约 3 倍。通过有效平衡可扩展性和运营效率，DamageScope 为现实世界的损害评估任务提供了强大且实用的解决方案。