高光谱基础模型的跨域传输

高光谱成像 (HSI) 语义分割通常依赖于域内训练，但有限的数据可用性通常会限制模型在实际应用中的性能。当前在近端传感中利用基础模型的方法使用跨模态技术，桥接 RGB 和 HSI 以利用视觉基础模型。然而，这些方法要么丢弃光谱信息，要么引入架构复杂性。我们提出跨域传输作为替代方案，重用 HSI 基础模型（最初在遥感中训练）用于近端传感应用。通过消除弥合模态间隙的需要，我们的方法保留了光谱信息，同时保持了简单的架构。使用 HS3-Bench 基准，我们系统地评估和比较传统的域内、模态内训练、跨模态迁移和跨域迁移策略。我们的结果表明，与域内模态训练相比，跨域迁移实现了巨大的性能改进，缩小了与跨模态方法的性能差距，并在有限的数据设置中保持了强大的性能。因此，这项工作在不同的应用中推进了更有效的 HSI 语义分割。