论文
解码三角洲:通过多模态统一遥感变化检测和理解 大语言模型
Decoding the Delta: Unifying Remote Sensing Change Detection and Understanding with Multimodal Large Language Models
摘要
虽然多模态 大语言模型 (MLLM) 在一般视觉语言任务中表现出色,但它们在遥感变化理解中的应用受到基本的“暂时失明”的阻碍。现有的架构缺乏多时间对比推理的内在机制,并且难以精确的空间基础。为了解决这个问题,我们首先引入 Delta-QA,这是一个包含 18 万个视觉问答样本的综合基准测试。 Delta-QA 统一了双时态和三时态场景中的像素级分割和视觉问答,将变化解释构建为四个渐进的认知维度。在方法论上,我们提出了 Delta-LLaVA,这是一种专门为多时相遥感解释量身定制的新型 MLLM 框架。它通过三个核心创新克服了朴素特征串联的局限性:系统地隔离和放大视觉差异的Change-Enhanced Attention模块,利用Change Prior Embedding提取可微分特征作为LLM的输入的Change-SEG模块,以及防止跨时间上下文泄漏的局部因果注意力。大量实验表明,Delta-LLaVA 在复杂变化推导和高精度边界定位方面明显优于领先的通用 MLLM 和专业分割模型,为对地观测智能建立了统一的框架。