HyperSAM：高光谱遥感的快速基础模型

高光谱遥感提供了物质层面对地观测不可或缺的密集光谱测量，但通用高光谱基础模型的构建仍然很困难。有两个瓶颈尤其受到限制。首先，大型高光谱语料库很少提供高空间分辨率和可靠的密集注释。其次，许多高光谱模型仍然几乎是从头开始训练的，因此现代视觉基础模型学到的几何和交互先验没有得到充分重用。为了缓解这些问题，我们\highlight{present} HyperSAM，这是一个快速的高光谱基础模型，它将以数据为中心的高光谱合成管道与基于 Segment Anything Model 3 (SAM3) 的光谱适应架构结合起来。在数据方面，HyperSAM 通过物理信息丰度转移生成器从高分辨率 SpaceNet 多光谱图像合成全光谱高光谱立方体，而 SAM3 派生的伪掩模提供以对象为中心的监督。在模型方面，最新的实现使用冻结的 SAM3 RGB 图像分支、从 RGB 视觉变换器 (ViT) 初始化的可训练高光谱侧编码器、ControlNet 式零初始化特征注入和轻量级专家混合掩模细化器。为了增强针对噪声伪标签的训练鲁棒性，跨模态样本选择 (CromSS) 式的置信度选择被纳入噪声标签加权中。大量实验表明，HyperSAM 在各种高光谱任务（例如分类、异常检测、变化检测、目标检测和机载溢油测绘）上获得了强大的泛化能力，并且高质量的合成高光谱数据比简单缩放噪声高光谱监督更有效。