UHR-BAT：用于超高分辨率遥感的预算感知词元压缩视觉语言模型

超高分辨率 (UHR) 遥感图像将公里级上下文与可能仅占据几个像素的关键查询证据结合起来。如此巨大的空间尺度导致视觉标记的二次爆炸，并阻碍了从小物体中提取信息。以前的工作利用直接下采样、密集平铺或全局 top-k 修剪，这要么会损害查询关键的图像细节，要么会导致不可预测的计算。在本文中，我们提出了 UHR-BAT，一种查询引导和区域忠实的词元压缩框架，可在严格的上下文预算下有效地选择视觉词元。具体来说，我们利用文本引导的、多尺度的视觉标记重要性估计，有效地解决了实现精确而低成本的特征提取的挑战。此外，通过引入按区域保留和合并策略，我们减少了视觉标记冗余，进一步降低了计算预算。实验结果表明，UHR-BAT 在各种基准测试中均实现了最先进的性能。代码可在 https://github.com/Yunkaidang/UHR 获取。