LithoBench：遥感岩性解释大型多模态模型的基准测试

遥感岩性解释是地质调查、矿产勘查和区域地质填图的基础。与一般的土地覆盖识别不同，岩性解释是一项知识密集型任务，需要专家从各种特征（例如微妙的视觉、光谱、纹理、地貌和上下文线索）推断岩石类型，这使得可靠的自动解释极具挑战性。地质知识引导的大型多模态模型提供了新的机会，但其评估仍然受到缺乏捕获岩性注释、多层次地质语义和专家知情评估的基准的限制。在这里，我们提出了 LithoBench，一个用于评估遥感岩性解释中地质语义理解的多级基准。 LithoBench 包含 10,000 个专家注释的解释实例，涵盖 12 个代表性岩性类别，包括 4,000 个多项选择题和 6,000 个开放式任务，分为五个认知级别：识别和描述、比较分析、机制解释、实际应用和综合推理。我们进一步开发了一个以知识为基础的专家在环半自动化施工流程，耦合多个子流程，例如结构化地质图像描述，以增强地质有效性和评估可靠性。多个大型视觉语言模型的实验表明地质语义理解存在很大的局限性，特别是在高阶解释、应用和推理任务方面。