SpectraDINO：跨红外波段 RGB 视觉基础模型的模态适应

在大规模 RGB 数据上预训练的视觉基础模型 (VFM) 提供了强大的通用表示，但对于机器人技术以及在弱光和恶劣天气下驾驶至关重要的红外感知仍然依赖于每个传感器构建的主干网。现有的传输方法仅弥合单个波段或单个 RGB-IR 对的可见红外间隙，没有留下跨越红外光谱的统一主干。我们推出了 SpectraDINO，它是 RGB 视觉基础模型的模态适应版本，支持 NIR、SWIR 和 LWIR 以及单个共享 ViT。所有特定于模态的行为都通过轻量级输入干、学习模态嵌入和每个模态瓶颈适配器以主动传感器为条件，而 Transformer 权重保持共享。我们提出了一种分阶段协议，通过余弦 蒸馏、对称对比对齐、补丁级对应和基于队列的邻域保留损失，将冻结的 DINOv2 教师提炼为光谱学生，然后有选择地微调更深的块以适应而不忘记 RGB 先验。在涵盖所有三个红外波段的七个检测和分割基准中，这个单一条件主干匹配或超越了特定于模态的方法，在 FMB 上将 mIoU 提高了 2.6 个点，在 SemanticRT 上将 mIoU 提高了 1.4 个点，在 SWIR 检测上超过了相同微调的基础模型基线 2.7 个 mAP。