论文
对比学习促进天气数据的确定性和生成模型
Contrastive Learning Boosts Deterministic and Generative Models for Weather Data
摘要
天气数据由多个变量组成,由于其高维性和多模态性质,带来了重大挑战。创建低维嵌入需要将这些数据压缩到紧凑的共享潜在空间中。需要这种压缩来提高下游任务的效率和性能,例如预测或极端天气检测。自监督学习,特别是对比学习,提供了一种从未标记数据生成低维、稳健嵌入的方法,从而在标记数据稀缺时支持下游任务。尽管初步探索了天气数据中的对比学习,特别是 ERA5 数据集,但当前文献并未广泛研究其相对于替代压缩方法(尤其是自动编码器)的优势。此外,当前的对比学习工作并没有研究这些模型如何整合稀疏数据,这在现实世界的数据收集中更为常见。探索和理解对比学习如何有助于为稀疏天气数据创建更强大的嵌入,从而提高下游任务的性能至关重要。我们的工作广泛探索了 ERA5 数据集上的对比学习,通过对比损失项将稀疏样本与完整样本对齐,以创建 SPARse 数据增强对比时空嵌入 (SPARTA)。我们引入了时间感知批量采样策略和循环一致性损失来改善潜在空间的结构。此外,我们提出了一种新颖的图神经网络融合技术来注入特定领域的物理知识。最终,我们的结果表明,对比学习是稀疏地球科学数据的一种可行且有利的压缩方法,从而提高下游任务的性能。