论文
从坐标到候选区域:遥感多模态中通过区域选择进行时间变化定位 LLM
From Coordinates to Candidate Regions: Temporal Change Localization via Region Selection in Remote Sensing Multimodal LLMs
摘要
遥感多模态 大语言模型 (RS-MLLM) 具有先进的场景理解和卫星图像视觉问答功能,但定位特定物体或变化区域仍然具有挑战性。现有的方法依赖于生成边界框坐标作为标记序列,这对于遥感中常见的小型、密集的物体来说是脆弱的,并且当必须同时定位多个目标时更容易出错。在这项工作中,我们提出了区域选择范式的 RS 特定公式,先前在自然图像 MLLM 中进行了探索,并将其扩展到多图像序列上的时间变化定位。我们的框架采用文本条件区域提议模块,将每个候选者编码为带有丰富空间和时间线索的每帧视觉特征的特殊标记,并让 LLM 通过在其响应中选择区域标记来定位目标。我们构建了一个多任务训练和评估套件,涵盖单图像和多时间设置中的定位、参考表达、视觉基础和理解任务。实验表明,我们的方法在时间变化定位方面大大优于坐标生成基线,同时改善了单图像视觉基础并保持有竞争力的理解性能。 Oracle 分析分解了区域提议者和 LLM 选择器的贡献,提供了该框架独有的诊断洞察力。我们的代码将在 https://github.com/juwan-kr/RS-RegionSelect 上提供。