HeatTok：通过基于热扩散的标记化增强遥感图像理解

当前多模态 大语言模型 (MLLM) 中的视觉分词器主要依赖于基于块的分区，由于地理对象的不规则轮廓，这会导致遥感图像中严重的语义混合和对象碎片。此外，现有的自适应方法难以提取精确的对象级标记，并且缺乏针对不规则区域的专用几何位置编码。在本文中，我们提出了 HeatTok，一种由热扩散聚合驱动的语义感知分词器。受热传导物理原理的启发，HeatTok 自适应地合并相邻的同质区域，以生成语义独立、对象对齐的不规则标记。为了使 MLLM 能够感知这些不规则形状，我们设计了高斯多模态旋转位置嵌入 (G-MRoPE)，它通过 2D 高斯对标记空间分布进行建模，并显式注入中心、尺度和方向线索。对 VRSBench 和 EarthVQA 数据集的广泛评估表明，HeatTok 有效地保留了对象级语义完整性，并在合理的 词元预算 下实现了最先进的性能。代码可用：https://github.com/YingyingYan1/HeatTok。