SA-GEM：用于高效遥感大型视觉语言模型的尺度自适应和地理空间证据调制词元修剪

RS-LVLM 对地球观测图像具有先进的多模态理解，但其性能从根本上受到高分辨率处理的限制，因为视觉标记计数随线性输入分辨率呈二次方增长，而重要的视觉证据本质上是稀疏的，并且在扩展序列中逐渐稀释。现有的词元修剪方法在很大程度上依赖于与规模无关的解决策略和孤立的重要性线索，限制了任务对齐的粒度适应和整体证据保存。为了解决这个问题，我们提出了规模自适应和地理空间证据调制词元修剪（SA-GEM），这是一个即插即用的框架，它将任务自适应词元粒度分配与整体地理空间词元重要性调制相结合。具体来说，轻量级路由器根据查询相关的词元粒度选择分辨率，而词元重要性调制器联合建模任务相关性、空间结构和局部冗余以保留整体地理空间证据。我们表明，更高的分辨率并不是普遍有益的，一旦达到足够的粒度，词元质量比词元数量更重要。各种基准的实验表明，SA-GEM 比现有的剪枝方法在准确性和效率方面取得了一致的进步。在 XLRS-Bench 上，它的准确率比 GeoLLaVA-8K 高 2.3%，总推理速度提高 2.4 倍。