论文

GeoSANE:从模型而不是数据中学习地理空间表示

GeoSANE: Learning Geospatial Representations from Models, Not Data

模型优化模型合并

摘要

遥感技术的最新进展导致可用基础模型数量的增加;每个模型都接受不同模式、数据集和目标的训练,但仅捕获庞大地理空间知识领域的一部分。虽然这些模型在各自领域显示出强劲的成果,但它们的功能仍然是互补的,而不是统一的。因此,我们的目标不是选择一种模型而不是另一种模型,而是将它们的优势结合到一个单一的共享表示中。我们介绍 GeoSANE,这是一个地理空间模型铸造厂,它从现有基础模型和特定任务模型的权重中学习统一的神经表示,能够按需生成新颖的神经网络权重。给定目标架构,GeoSANE 会生成权重,以便跨多种模式对分类、分割和检测任务进行微调。 GeoSANE 生成的模型始终优于从头开始训练的模型,匹配或超越最先进的遥感基础模型,并且在生成轻量级网络时优于通过剪枝或 知识蒸馏 获得的模型。对十个不同数据集和 GEO-Bench 的评估证实了其强大的泛化能力。通过从 预训练 转向权重生成,GeoSANE 引入了一个新框架,用于跨模型和任务统一和传输地理空间知识。代码可在 \href{https://hsg-aiml.github.io/GeoSANE/}{hsg-aiml.github.io/GeoSANE/} 获取。