论文

StrictPRMBench:固定过程评分池审计最佳候选选择的聚合规则

StrictPRMBench: A Replayable Evaluation Benchmark for Auditing Fixed-Score PRM Aggregation

模型评测模型训练模型推理奖励建模与过程监督推理验证与自校正评测方法与指标

摘要

过程奖励模型(PRM)对推理步骤打分,但best-of-N选择还需要聚合这些分数的规则。我们将聚合规则作为独立评价对象。StrictPRMBench固定数学推理候选池、评分器证据和删除干预的来源轨迹,使不同聚合器面对同一已记录选择问题。在七个评分检查点、两个基准的全部14个单元中,保存的N=32结果表明,乘积聚合的删除诱导选择不稳定性高于几何平均(GM)。各单元等权差为+0.0965;条件于这些检查点和冻结候选池,按共同问题bootstrap得到95%区间[0.0846, 0.1086]。在注入前定义的敏感性分析排除任一聚合器干净候选池赢家所在的替换位置,保留4622条“单元—问题”记录中的4459条;差异仍为+0.0986,区间[0.0875, 0.1098]。效果存在异质性:两个Qwen单元在保留样本上的百分位bootstrap区间为正,但双侧精确配对p值为0.0625和0.0703。Qwen干净候选池准确率未检出乘积优势,但这不是等价性结果。我们提供版本化结果、CPU再分析和明确证据可用性约定。贡献是诊断协议及对已记录选择器行为的可复核审计,不是新PRM、普遍最优聚合器或部署普遍受损的证据。原分数重放与结果记录再分析不同:缺少主要已编辑分数向量,限制了在相同压力下独立评价新聚合器。

StrictPRMBench:固定过程评分池审计最佳候选选择的聚合规则:论文配图
图1:StrictPRMBench概览与证据边界。比较不同规约器时,评分器、候选池和干预均保持固定。14/14这一主要结果统计的是正向点估计,并非具有统计显著性的单元格。规约器方框示意接口;对新规则进行完整压力回放,需要目前缺失的原始编辑后分数向量。人工统计描述一个经过选择的200卡片子集,不代表部署中的发生率。左侧例子仅为示意。