通过持续训练进行天气模拟的神经尺度法则

神经缩放定律在某些领域可以预测大型神经网络作为模型、数据和计算规模的函数的性能，是构建自然语言处理和计算机视觉基础模型的基石。我们研究科学机器学习中的神经尺度，重点关注天气预报模型。为了在尽可能简单的设置中分析扩展行为，我们采用了最小的、可扩展的、通用的 Swin Transformer 架构，并使用具有恒定学习率和定期冷却的持续训练作为有效的训练策略。我们表明，以这种极简方式训练的模型遵循可预测的缩放趋势，甚至优于标准余弦学习率计划。可以重新调整冷却阶段以提高下游性能，例如，在更长的预测范围内实现准确的多步滚动预测，以及通过频谱损耗调整进行更清晰的预测。我们还系统地探索各种计算预算下的各种模型和数据集大小，以构建 IsoFLOP 曲线，并确定计算最佳训练方案。将这些趋势外推到更大的规模，突出了潜在的性能限制，表明神经缩放可以作为有效资源分配的重要诊断。我们开源代码以提高可重复性。