从标记的验证集输出统计数据预测推理时间缩放增益

Best-of-$N$ 推理缩放（从语言模型中提取 $N$ 候选答案并返回奖励模型排名最高的答案）可提高准确性，具体程度因模型而异，但提前预测该金额目前需要端到端运行该过程。先前的工作将模型采样输出和验证集正确性的廉价统计数据（样本一致的频率、它们的多样性、模型的置信度以及正确样本出现的位置）与模型行为联系起来，但没有隔离其中哪一个形成了 best-of-N$ 增益的稳定、紧凑的预测器。我们将岭预测器拟合到从单个标记的验证集采样过程计算出的特征上，使用 bootstrap-Lasso 作为候选特征集的稳定性分析，并给出具有显式线性近似残差的浓度分析。在三个基本模型系列、六种 后训练 方法以及数学和推理任务域中，稳定性分析确定了严格的三特征核心，涵盖提示级一致性分布、标签辅助的第一个正确样本位置和完成长度方差；从此核心构建的紧凑山脊预测器加上熵附加组件达到了 Spearman $ρ= 0.90$，在奖励模型验证器下获得了实际的 best-of-$N$ 增益。预期用途是在支付全额奖励模型评分成本之前对候选配置进行标记验证集筛选。