论文

评估非模拟分布变化下气候基础模型的稳健性

Assessing the Robustness of Climate Foundation Models under No-Analog Distribution Shifts

模型评测鲁棒性、公平性与可信度评测

摘要

气候变化的加速带来了深刻的非平稳性,这挑战了基于机器学习的气候模拟器泛化到其训练分布之外的能力。虽然这些模拟器提供了传统地球系统模型的计算高效替代方案,但它们的可靠性仍然是“非模拟”未来气候状态下的潜在瓶颈,我们在这里将其定义为外部强迫驱动系统进入历史训练数据经验范围之外的条件的制度。评估这种可靠性的一个基本挑战是数据污染;由于许多模型都是在已经包含未来场景的模拟上进行训练的,因此真正的分布外 (OOD) 性能常常被掩盖。为了解决这个问题,我们对三种最先进架构的 OOD 鲁棒性进行了基准测试:U-Net、ConvLSTM 和专门限于历史训练体系(1850-2014)的 ClimaX 基础模型。我们使用两种互补策略评估这些模型:(i)对近期气候(2015-2023)的时间外推和(ii)跨情景迫使不同排放路径的变化。我们在此实验设置中的分析揭示了准确性与稳定性的权衡:虽然 ClimaX 基础模型实现了最低的绝对误差,但它在分布变化下表现出更高的相对性能变化,在极端强迫情况下降水误差增加高达 8.44%。这些发现表明,当限制于历史训练动态时,即使是高容量基础模型也会对外部强迫轨迹敏感。我们的结果强调了场景感知训练和严格的 OOD 评估协议的必要性,以确保气候模拟器在气候变化下的稳健性。