花费更少，效果更好：通过主动实验选择实现预算高效的缩放法则拟合

缩放法则用于计划耗资数百万美元的训练运行，但适应这些法则本身就可能花费数百万美元。在现代大规模工作流程中，组装一组信息丰富的试点实验已经是一个主要的预算分配问题，而不是常规的预处理步骤。我们将标度律拟合制定为预算敏感的顺序实验设计：给定具有异构成本的有限可运行实验池，选择要执行的运行，以便在高成本目标区域中最大化外推精度。我们提出 $\mathrm{SL}^2$ (Scaling Laws, Spend Less)，一种不确定性感知方法，用于将实验预算顺序分配给对目标区域外推最有用的运行。在不同的标度律任务基准中，$\mathrm{SL}^2$ 优于基于经典设计的基线，并且通常接近在整个实验集上拟合的性能，而仅使用总训练预算的 10\% 左右。我们的代码可在 https://github.com/PlanarG/active-sl 获取。