论文
SpecTM:面向可信基础模型的光谱定向掩码
SpecTM: Spectral Targeted Masking for Trustworthy Foundation Models
摘要
面向地球观测(Earth Observation, EO)的基础模型如今日益增多,但它们往往依赖不显式施加物理约束的随机掩码,这是一个关键的可信性局限,对指导公共卫生决策的预测模型而言尤其如此。在本工作中,我们提出SpecTM(Spectral Targeted Masking,光谱定向掩码),一种物理信息掩码设计,在预训练期间鼓励从跨光谱上下文重建目标波段。为实现这一点,我们开发了一个可适配的多任务(波段重建、生物光学指数推断以及8天提前期时间预测)自监督学习(SSL)框架,通过联合优化编码光谱内在表征,并使用NASA PACE在伊利湖上空的高光谱影像,在下游微囊藻毒素浓度回归模型上进行了评估。SpecTM取得R^2 = 0.695(当周)与R^2 = 0.620(8天提前期)的预测结果,分别以+34%(Ridge为0.51)与+99%(SVR为0.31)超越所有基线模型。我们的消融实验显示,定向掩码比随机掩码将预测提升+0.037 R^2。此外,在极端标签稀缺条件下,它以2.2倍的标签效率优势超越强基线。SpecTM支持跨EO领域的物理信息表征学习,并提升基础模型的可解释性。
