论文
通过 大语言模型 将物理先验转移到遥感分割中
Transferring Physical Priors into Remote Sensing Segmentation via Large Language Models
摘要
遥感图像的语义分割是地球观测的基础。要获得准确的结果，不仅需要集成光学图像，还需要集成数字高程模型 (DEM)、合成孔径雷达 (SAR) 和归一化植被指数 (NDVI) 等物理变量。最近的基础模型 (FM) 利用 预训练 来利用这些变量，但在涉及新传感器时仍然依赖于空间对齐的数据和昂贵的再训练。为了克服这些限制，我们引入了一种新的范例，用于将特定领域的物理先验集成到分割模型中。我们首先通过提示 大语言模型 从 1,763 个词汇中提取物理先验来构建一个以物理为中心的知识图（PCKG），并使用它来构建一个异构的、空间对齐的数据集 Phy-Sky-SA。在此基础上，我们开发了 PriorSeg，这是一种物理感知残差细化模型，采用联合视觉物理策略进行训练，其中包含新颖的物理一致性损失。异构设置的实验表明，PriorSeg 无需重新训练 FM 即可提高分割精度和物理合理性。消融研究验证了 Phy-Sky-SA 数据集、PCKG 和物理一致性损失的有效性。