论文
具有多模式 LandslideBench 的 LandslideAgent:用于自主滑坡识别和分析的域规则增强代理
LandslideAgent with Multimodal LandslideBench: A Domain-Rule-Augmented Agent for Autonomous Landslide Identification and Analysis
摘要
智能滑坡灾害解释对于灾害预防至关重要,但当前的范例很难同时提取视觉特征和高级地球科学语义,而通用视觉语言模型(VLM)在复杂的地质场景中受到感知限制和领域幻觉的影响。为了应对这些挑战,我们提出了一个由三个组件组成的指令驱动的代理框架。首先,LandslideBench 是一个多模式细粒度数据集,具有七个子类型标签、高分辨率图像、像素级掩模和高质量文本描述,是通过多 VLM 交叉验证和交互式注释构建的。然后,LandslideVLM(一种面向滑坡的 VLM)通过 LandslideBench 上的 LoRA 进行微调,以增强地质语义理解。最后,LandslideAgent是一种以LandslideVLM为认知支柱的域规则增强代理,采用结合结构化报告元数据约束和交叉验证识别约束的双规则控制器来调节自动化工具调用。实验表明,LandslideBench 为五种主流模型的细粒度分类和语义分割提供了有效的基线。 LandslideVLM 在滑坡判别、细粒度分类和语义描述质量方面的准确率分别提高了 10.96%、32.87% 和 15.91%。 LandslideAgent进一步实现自主多源空间数据推理,实现滑坡识别和分析的全流程智能。