使用噪声二次系统预测大型模型测试损失

我们引入了一种预测模型，该模型根据模型大小 (N)、批量大小 (B) 和权重更新次数 (K) 来估计大型模型的 预训练 损失。这是第一个可以处理批量大小变化的损失预测模型。在按照外推计算预算（最多 1000 倍）预测损失方面，该模型优于 Chinchilla 损失模型（一种使用批量大小和词元数量的测试损失模型）。该模型的一个自然用途是在时间、内存和计算等显式复合资源约束下找到最佳的 N、B、K 配置。在我们的实验中，模型选择的配置接近 真值 最优配置。我们的工作主张将损失预测作为启发式法则的更好替代方案，而启发式法则的复杂性正在不断增加。该实现可在 https://github.com/chuningxdy/Noisy-Quadratic-System 上找到。