论文
SPEAR NeXT 跨多个视野的因果潜在预测，用于光谱时态地球表示学习
SPEAR NeXT Causal Latent Forecasting Across Multiple Horizons for Spectral Temporal Earth Representation Learning
摘要
地球观测本质上是动态的，但许多基础模型中的时间信息是通过重建、不变性或回顾性序列总结来学习的。 SPEAR NeXT 是一种紧凑的像素级多模态谱时间基础模型，其中时间自监督被表述为仅过去的多水平潜在地球状态预测。首先，预训练的 SPEAR 模型将来自光学、雷达和环境观测的瞬时状态编码为紧凑的 32 维嵌入。然后，它们的时间演化通过因果屏蔽的 Transformer 进行建模，该 Transformer 根据先前的观察预测多个未来的潜在状态。相对时间顺序使用旋转位置嵌入表示，而月份和年份嵌入则对季节相位和年际背景进行编码。