论文
何时信任,如何提炼:轻量级、稳健的科学时间序列预测的多基础模型指南
When to Trust, How to Distill: Multi-Foundation Model Guidance for Lightweight, Robust Scientific Time Series Forecasting
摘要
时间序列基础模型(TSFM)在物理科学中的部署受到了关键权衡的阻碍:虽然这些模型编码了丰富的、普遍的时间动态,但当零样本应用于特定科学领域时,它们会遭受严重的分布错位,而且它们的计算成本阻碍了在边缘计算传感器网络中的部署。我们解决了一个根本性的挑战:如何从错位的基础模型(FM)中提取潜在的结构知识来训练轻量级的专业预报员?我们提出了 蒸馏 (Guard) 的门控不确定性感知路由,这是一种新颖的框架,它将多教师 蒸馏 重新构建为具有两种自适应机制的实例决策过程:(1) 上下文路由器,根据本地输入统计数据动态选择最相关的教师,利用不同基础模型之间的互补性; (2) 不确定性门控温度机制,充当“断路器”,当教师信心偏离领域现实时,自动减弱 蒸馏 强度。我们在四个气候关键领域评估了我们提出的轻量级框架:气象、生态系统碳通量、土壤湿度和能源网格。相对于固定权重多教师 蒸馏 基线,我们的方法显着降低了 RMSE,成功地从预训练的 FM(教师)中提取知识,即使它们由于原始数据域和目标数据域之间的分布偏移而表现出次优的零样本精度。我们证明,这些领域错位的教师仍然可以作为关键的纠正措施,在 28.5% 最困难的情况下优于全球领先的 FM。最终,这可以实现适合资源受限的边缘部署的高精度科学预测。代码可在 https://github.com/RupasreeDey/GUARD-KDD2026 获取。