快速准确地探测训练中的 LLM 的下游性能

在参数大小和测试时间上扩展大语言模型（LLM）的范式突破了AI能力的界限，但代价是传统的生成评估范式过于昂贵，因此使得LLM的训练中下游性能评估的延迟难以忍受。然而，像训练损失（困惑度）这样的简单指标并不总是与下游绩效相关，因为有时它们的趋势与实际任务结果有所不同。这种困境需要一种计算效率高且在测量模型能力方面足够准确的方法。为了应对这一挑战，我们引入了一种新的训练中评估范例，该范例使用轻量级探针来监控下游性能。探针将 LLM 检查点（在训练期间）的内部表示作为输入，并直接预测检查点在通过成功概率（即 pass@1）测量的下游任务上的性能。我们设计了多种探针架构，并使用 OLMo3-7B 的检查点在各种下游任务中验证其有效性。这些探针可以准确预测检查点的性能（平均 AUROC$>$0.75），在检查点之间具有良好的泛化性（先预测后预测），并将计算延迟从 $\sim$1 小时（使用传统的生成评估方法）减少到 $\sim$3 分钟。总之，这项工作提出了一种实用且可扩展的训练中下游评估范例，使 LLM 开发过程更加敏捷、知情和高效。