论文

通过引导输入和思维链推理解锁多模态模型的多光谱数据

Unlocking Multi-Spectral Data for Multi-Modal Models with Guided Inputs and Chain-of-Thought Reasoning

上下文与知识上下文工程

摘要

多光谱图像是遥感应用的宝贵输入信号,例如土地利用和土地覆盖分类以及环境监测。然而,通用大型多模态模型 (LMM) 通常在 RGB 图像上进行训练,这限制了它们在 RGB 域中的适用性。同时,训练多光谱多模态模型成本高昂,并且会产生独特的专业模型。为了解决这个问题,我们提出了一种新颖的 无需训练 方法,该方法在标准仅 RGB LMM 的推理管道中引入多光谱数据,从而大幅提高性能。我们的方法通过将非 RGB 输入适应该空间并注入特定于域的信息和思想链推理作为指令,利用 LMM 对视觉空间的理解。我们使用 Gemini 2.5 模型演示了这一点,并在流行的遥感基准测试中观察到零射击性能的强劲提升。这些结果凸显了地理空间专业人员利用强大的通用模型进行专业传感器输入的潜力,受益于基于专业数据的丰富推理能力。