论文

Extreme Weather Bench:评测高影响天气预测的开放基准

Extreme Weather Bench: A framework and benchmark for evaluation of high-impact weather

模型评测基准与评测资源

摘要

预测全球范围内发生的各种高影响天气事件对于人工智能 (AI) 和数值天气预报 (NWP) 模型来说都是一项挑战,因此在部署之前对此类模型进行适当验证至关重要。尽管人工智能天气模型正在迅速发展,但目前它们的大部分评估都是通过全球范围的评估或手工挑选少量案例研究或一个地区来完成的。广泛使用的专注于高影响天气的开源基准套件将有助于推动所有规模的天气模型的科学发展,就像其他人工智能领域一样。在这里,我们介绍极端天气基准 (EWB),这是一个新的社区驱动的基准套件,可促进对全球人民重要的各种高影响危险的模型验证和验证。 EWB 提供了一套标准的案例研究(跨越多个时空尺度以及天气谱的不同部分)、观测数据、基于影响的指标和开源代码,供用户评估其模型。验证模型是否适用于一组标准案例研究,尤其是对公众影响较大的事件,是提高人工智能模型可信度的关键。 EWB 将有助于推动所有天气模型的科学发展,实现模型之间的真实比较,并通过案例研究评估特定高影响现象的模型。 EWB 是一个免费的开源社区驱动系统,并将与全球天气和预报验证社区合作,继续发展以包含更多现象、测试用例和指标。