Thermo-VL：将视觉语言模型扩展到热红外感知

视觉语言模型 (VLM) 在低照度下通常会失败，因为它们的视觉基础主要是从 RGB 图像中学习的，而热红外在可见线索退化时保留了互补的场景结构。我们推出了 Thermo-VL，这是一种波长感知的 VLM，它通过可训练的热编码器和文本引导的双注意力融合模块增强了冻结的 Molmo-7B 主干。给定对齐的 RGB 标记、热标记和提示嵌入，融合模块会在语言和 RGB 上下文上调节热特征，然后将门控残差注入到冻结的 RGB 流中，以便可以在不破坏 Molmo 预训练的 RGB 语言接口的情况下合并热证据。我们使用标准语言建模目标以及辅助对齐和正则化损失来训练模型，以改善跨模式基础并减少对 RGB 的过度依赖。我们还引入了像素对齐的 RGB 热指令调整数据集和 Thermo-VL-Bench，这是一种手动筛选的 RGB 热 VQA 基准，用于低光和跨谱推理。实验表明，在具有挑战性的纯热推理任务和 RGB+热推理任务中取得了巨大进展，凸显了即时条件多光谱融合的价值。我们的数据集和代码可公开获取：https://thusharakart.github.io/Thermo-VL