论文

Xaurora:利用基础模型先验的去噪随机插值进行生成天气预报

Xaurora: Generative Weather Forecasting with Denoising Stochastic Interpolants from a Foundation Model Prior

模型训练参数高效训练

摘要

近年来,深度学习彻底改变了天气预报,特别是通过大气基础模型,这些模型提供了具有竞争力的技能,而其计算成本仅为经典物理模型的一小部分。然而,大多数现有的基础模型都是确定性的,限制了用于准确的不确定性量化、极端天气风险评估和长期天气预报的大型集合的生成。此外,从头开始训练这些模型会产生大量的、通常令人望而却步的计算开销。为了解决这些缺点,我们将预训练的确定性先验模型(即 Aurora 基础模型)转变为生成集成预测模型。为此,我们引入了一种新颖的生成方法,即去噪随机插值,与随机微分方程 (SDE) 执行轨迹的重播缓冲区相结合,从而实现 SDE 轨迹的概率训练。我们的随机基础模型 Xaurora 在小型 Aurora 版本的基础上进行了微调,但它在全局集成指标方面接近最先进的水平,并且与大型 Aurora 版本具有竞争力。我们的方法是参数且样本效率高,可在 13 分钟内生成熟练的 15 天预测。我们的结果表明,确定性基础模型可以有效地扩展到更强的随机模型。

Xaurora:利用基础模型先验的去噪随机插值进行生成天气预报的原论文方法或结果图
图 6:Xaurora 降噪器架构。对 Aurora 进行最小修改,将其变成降噪器 $\bm{D}_{\theta}(\bm{X}^{t}_{\tau},\bm{h}^{t},\tau)$。新的参数被初始化,模型减少到训练之前的Aurora。嵌入:$\bm{e}_{\text{surface}}$、$\bm{e}_{\text{atmosphere}}$ 是 Aurora 的地表/大气变量嵌入,$\bm{e}_{\text{space+time}}$ 是时空位置嵌入,$\bm{e}_{\text{lead time}}$ 是前置时间嵌入,$\bm{e}_{\tau}$ 是新的(零初始化)伪时间嵌入。