论文
UNIGEOCLIP:统一地理空间对比学习
UNIGEOCLIP: Unified Geospatial Contrastive Learning
摘要
涵盖航空图像、街道视图、高程模型、文本和地理坐标的共置地理空间数据的可用性不断增加,为多模式表示学习提供了独特的机会。我们引入了 UNIGEOCLIP,这是一个大规模多模态对比框架,可在一个统一的嵌入空间中联合排列五种互补的地理空间模态。与融合模态或依赖中心枢轴表示的先前方法不同,我们的方法执行全面对比对齐,从而能够跨模态的任意组合进行无缝比较、检索和推理。我们进一步提出了一种缩放的纬度-经度编码器,通过捕获多尺度的地理结构来改善空间表示。下游地理空间任务的大量实验表明,UNIGEOCLIP 始终优于单模态对比模型和纯坐标基线,凸显了整体多模态地理空间对齐的好处。参考实现可在 https://gastruc.github.io/unigeoclip 获取。