论文
RealBench:在运行条件和极端事件挑战下对数据驱动的数值天气预报进行基准测试
RealBench: Benchmarking Data-Driven Numerical Weather Forecasting Under Operational Conditions and Extreme Event Challenges
摘要
准确评估天气预报模型对于其在实际应用中的可靠部署至关重要。然而,现有基准主要依赖于ERA5等再分析产品,这些产品是通过延迟数据同化产生的,不能反映实时业务预测的约束,从而导致基准性能与实际预测之间的系统性不匹配。在这项工作中,我们介绍了 RealBench,这是下一代人工智能天气预报基准,强调操作条件下的真实评估。 RealBench 具有跨越 2025 年的严格分布外测试集,以消除数据泄漏并捕获最新的大气状况。它集成了多个数据源,包括低延迟操作分析和由 10,000 多个站点组成的大规模全球现场观测数据集,从而能够根据真实大气测量结果进行直接评估。除了标准的全球指标之外,RealBench 还为热浪、寒潮和热带气旋等高影响极端事件提供了全面的评估框架,使用更好地反映现实世界预测优先事项的特定事件指标。评估结果揭示了基于再分析的指标与现实世界的表现之间存在巨大差异,特别是在极端事件方面。通过强调现有基准的局限性,这项工作建立了一个更加忠实且具有操作相关性的评估范式,为推进下一代人工智能天气预报系统提供了坚实的基础。基准实现可在以下位置获取:https://github.com/lixruize-del/NWP-Benchmark。