论文
时空天气数据的标度律分析
Towards Scaling Law Analysis For Spatiotemporal Weather Data
摘要
NLP 和 CV 的计算最优缩放法则得到了相对充分的研究,其中目标通常是单步的,并且目标相对同质。天气预报更难在同一框架中表征:自回归滚动预测会在长期范围内复合误差,输出将许多具有不同规模和可预测性的物理通道耦合起来,并且全局汇总的测试指标可能与短期训练所隐含的每个通道的后期行为严重不一致。我们将自回归天气预报的神经尺度分析从单步训练损失扩展到长程滚动预测和每通道指标。我们量化(1)预测误差如何跨通道分布以及其增长率如何随预测范围演变,(2)幂律缩放是否适用于测试误差,相对于误差全局池化时的滚动预测长度,以及(3)对于参数、数据和基于计算的缩放轴,拟合如何随范围和通道共同变化。我们发现强大的跨渠道和跨水平异质性:合并缩放看起来很有利,而许多渠道在后期领先时会退化。我们讨论对加权目标、视野感知课程和跨产出的资源分配的影响。