关于预测预训练 LLM 的 后训练 潜力

大语言模型（LLM）在下游任务上的性能从根本上受到预训练期间获得的功能的限制。然而，像 MMLU 这样的传统基准通常无法反映基础模型在复杂开放场景中的可塑性，导致模型选择效率低下。我们通过引入预测 后训练 潜力的新任务来解决这个问题 - 在 后训练 之前预测基本模型的性能。我们提出了 RuDE（基于Rubric的判别评估），这是一个统一的框架，通过利用响应判别来绕过基础模型的代沟。在我们系统的 4C 分类法的指导下，RuDE 通过细粒度的规则违规构建跨不同领域的受控对比对。大量实验证明与 后训练 性能的相关性超过 90%。至关重要的是，通过强化学习 (RL) 进行的验证证实，RuDE 可以有效识别优于较大模型的高潜力较小模型，为基础模型开发提供计算高效的机制。