Skaling：Chinchilla 的指数满足 Kaplan 的耦合

神经缩放定律是语言模型开发的基础，但标准公式系统地低估和高估了数据稀缺和过度训练极端情况下的损失。这种失败源于模型大小和训练数据独立影响损失的基本假设。为了解决这个问题，我们引入了 Skaling 定律，这是一种广义函数形式，通过单个交互指数将模型容量和数据耦合起来。这个简单的扩展将内插和外推机制的平均绝对百分比误差 (MAPE) 降低了 1.5-3 倍。当与仅限于低计算范围的稀疏网格策略配合使用时，Skaling 定律使用比均匀扫描少大约 10 倍的计算量来实现精确的全网格外推。通过通过小规模实验进行可靠的性能预测，Skaling 定律为下一代 模型训练 中的计算预算分配提供了更强大且资源效率更高的框架。