极光光谱中的基础表征迁移与域内预训练

斯基博顿极光摄谱仪 (ASIS) 等极光摄谱仪记录了数十万个发射光谱，但专家只能标记几百个。为了利用其余部分，我们使用掩码自动编码器在 223,000 个未标记光谱上预训练 1D Vision Transformer。在没有标签的情况下，其表示恢复了物理学家用来诊断沉降粒子的发射线强度比（未经训练的对照的 R^2 0.91 与 0.77），并且在一个线性探针下，对专家设计的 13 个特征进行分类。经过微调，该模型在自己的基准测试上优于之前的监督极光分类器（宏平均AP 88.5 vs. 77.8），达到 0.870 mAP，并且比使用 10% 标签从头开始训练的相同架构高出 +0.159；归因表明它使用两个 N2+ 频段。现有的预训练模型可以取代它吗？两个天文光谱基础模型和一个时间序列模型根据其光谱窗口进行传输：在红外中训练的 SpectraFM 低于未经训练的控制，而在光学中训练的 SpecFormer 接近域内预训练但未达到目标。