论文
T-JEPA：学习更好遥感表示的时间联合嵌入预测架构
T-JEPA: A Temporal Joint-Embedding Predictive Architecture for Learning Better Remote Sensing Representations
摘要
地球观测（EO）数据提供丰富的时间监督，但现有的遥感基础模型主要通过施加预定义的成对关系或聚合整体重建上下文来利用顺序观测。我们寻求进一步利用 EO 序列固有的稀疏和非均匀时间采样作为监督信号。为此，我们提出了 T-JEPA，一种时间联合嵌入预测架构，可以学习时间间隙条件的潜在转换。共享的单帧编码器处理每个观察结果，而时间预测器根据屏蔽的源潜在表示和实际经过的时间估计完整的目标潜在场。在多个时间间隔内，这些预测约束将观察到的状态组织成结构化的潜在轨迹。非对称元数据注入减轻了快捷学习的影响，并且跨多个时间尺度的直接监督被证明比递归地推出中间状态更有效。同时，掩模像素重建为保留空间细节提供了补充监督。在匹配的 pre-训练数据和吞吐量下，T-JEPA 在静态和临时任务上实现了领先的传输性能。分析进一步表明，T-JEPA 学习具有依赖于时间间隙的转换可预测性和连贯潜在动态的表示，同时保持强大的跨周期一致性、表示多样性和语义可辨别性。
