论文
一个适配器,每种分辨率:遥感 VLM 的门控低秩自适应
One Adapter, Every Resolution: Gated Low-Rank Adaptation for Remote Sensing VLMs
摘要
遥感图像的地面采样距离 (GSD) 从厘米到数十米不等,因此地理概念的视觉证据及其支持的问题都可以随着物理尺度的变化而变化。现有的遥感视觉语言模型 (RS-VLM) 要么忽略 GSD,要么将其编码为文本标记,在整个范围内应用一组与尺度无关的参数。我们证明 GSD 可以从冻结的视觉特征中解码,但利用它需要依赖于尺度的适应。因此,我们引入了 ScaleEarth,它以连续标量 s = log10(GSD) 为条件进行低秩自适应。其核心模块 CS-HLoRA 使用 s 的 s 型函数对单个共享 LoRA 的等级维度进行门控,其阈值在对象、结构和语义尺度上初始化;门在训练期间按比例路由梯度,并在推理时选择主动适应子空间,同时保持骨干网冻结。当元数据不可用时,异方差头 SSE-U 会使用校准的不确定性来估计 s,并在不确定时回落到默认尺度。为了使监督与此机制保持一致,我们构建了 GeoScale-VQA,这是一个 1.5M QA 对的数据集,其中每个样本都带有已解析的 GSD,并且新生成的问题以相同的 s 为条件。凭借 8B 主干网,ScaleEarth 在 XLRS-Bench 上的平均得分为 59.4,比最强的 RS 专家提高了 5.2 分。在 OmniEarth-Bench 上,它的平均得分为 40.71,比最强的开源基线提高了 7.45 分。最大的收益出现在规模敏感的子任务上。 4 位变体可以部署在单个 40 GB GPU 上,并在 XLRS-Bench 上保持 57.4 的平均分数,大大降低了适配和部署成本。