论文

更少词元、更准预报:用于高效天气预测的稀疏残差路由

Less Tokens, Better Forecasts: Sparse Residual Routing for Efficient Weather Prediction

模型优化稀疏化

摘要

基于ViT的天气预报常对所有空间词元均匀计算,尽管相邻大气格点值相近,大范围随时间平滑变化。删除或合并词元虽能节省计算,天气预报却需要将历史状态映射到原经纬度网格上的未来值,每个格点必须保留物理意义,尤其在自回归预测中。Sparse-Reslim是无参数路由模块,只将25%的空间词元送入昂贵的中间Transformer块,将这些块视为残差更新:计算选中词元的变化,再只把变化散射回完整序列。未选词元精确保留路由前表示,不删除格点、不使用掩码替代,也无需融合层或额外参数。在ERA5直至业务级0.25度分辨率上,对确定性Transformer和扩散模型两类骨干,所有所测变量的预报准确性均改善;主要设置训练约快2.5倍,0.25度时达3.18倍,峰值显存降低超过2.2倍。受控分解显示,准确性收益主要来自稀疏路由本身,随机选择词元还提供额外正则化收益而无需选择器开销。