论文

HLS-GPT:用于大陆规模 NASA 协调 Landsat 和 Sentinel-2 (HLS) 任意日期所有波段反射率重建的生成式预训练 Transformer (GPT)

HLS-GPT: A Generative Pretrained Transformer (GPT) for Continental-Scale NASA Harmonized Landsat and Sentinel-2 (HLS) Reflectance Reconstruction Across All Bands on Arbitrary Dates

模型训练预训练

摘要

最近用于 Landsat 和 Sentinel-2 反射时间序列重建的深度学习方法仍然受到光谱覆盖范围有限、地理可扩展性有限或具有短时间上下文的基于块的设计的限制。我们提出了 HLS-GPT,这是一种大规模生成预训练 Transformer 模型,用于重建所有波段、任何日期和任何像素位置的 NASA Harmonized Landsat Sentinel-2 30 m 表面反射率。 HLS-GPT 使用分层 Transformer 架构来处理 Landsat 和 Sentinel-2 的不同光谱带配置,并在单像素 12 个月时间序列上运行。为了捕捉地理和季节变化,该模型使用来自美国本土超过 25 万个训练像素的 9 年 HLS 时间序列进行训练。随机裁剪和屏蔽策略提取不同时期开始日期不同的 12 个月周期,屏蔽 50% 的有效观测值,并训练模型根据剩余观测值重建屏蔽的反射率值。使用超过 62,000 个独立测试像素进行的评估显示,在不同的地表条件下(包括复杂的作物物候和稀疏、不规则的观测),重建结果稳健。留一观察评估实现了所有 HLS 光谱带的重建 RMSE 低于 0.026,可见光波段的相对 RMSE 低于 35%,其他波段的相对 RMSE 低于 13%。尽管陆地卫星上没有红边波段,但红边波段误差与红色和近红外误差相当。随机屏蔽 10% 至 90% 的测试观测值的敏感性分析表明,当屏蔽 10% 至 50% 的观测值时,仅出现适度的退化,全频段 RMSE 低于 0.028。九个独立的 109 x 109 km CONUS HLS 图块的图像重建进一步证明 HLS-GPT 优于两种传统方法和 NASA-IBM Prithvi 模型。