SPECTRA：用于地理空间基础模型的交叉传感器 微调 的带路由嵌入和阶段式 LoRA

地理空间基础模型 (GeoFM) 根据地球观测 (EO)、气候和天气数据等大规模地理空间数据进行预训练，在对各种下游任务进行微调时显示出良好的性能。然而，将 EO 预训练的 GeoFM 应用于实际的下游数据集存在两个挑战。第一个挑战是如何处理光谱不匹配：预训练的补丁嵌入需要一组固定的输入频带，而下游传感器可能提供不同的通道。第二个挑战是如何降低微调成本并提高效率。虽然现有的工作已分别针对这些挑战做出了努力，但在降低适应成本的同时共同提高频谱失配下的 微调 性能仍有待探索。我们提出了 SPECTRA，这是一种参数高效的 微调 框架，可以解决光谱不匹配和适应成本的问题。为了处理光谱不匹配问题，SPECTRA 引入了频带路由嵌入 (BRE)，它将所有可用的下游频带映射到预训练的 GeoFM 预期的频带空间中。通过使用 BRE，下游数据集中的所有可用频段都可用于改进所选频段输入，而无需更改预训练的补丁嵌入接口。为了降低适配成本，SPECTRA进一步引入了Stage-wise Transferability-aware LoRA（ST-LoRA）微调。 ST-LoRA 在 微调 之前估计阶段可转移性，并分配阶段特定的 LoRA 等级，将可训练参数集中在目标任务具有高可转移性的阶段。在三个 EO 预训练的 GeoFM 和四个下游分割数据集中，实验表明，与完整的 微调 和标准 LoRA 相比，BRE 通过利用所有光谱带提高了性能，而 ST-LoRA 减少了可训练参数。代码可在 https://github.com/big-data-lab-umbc/SPECTRA 获取。