论文
OMVV:成本约束下的在线多验证器验证
Online Verification of Language Model Responses Under Cost Constraints
摘要
随着大语言模型日益部署于多步推理,验证输出正确性成为规模化保持可靠性的关键。验证LLM输出常靠查询昂贵的真值oracle,在线设置下不可能每步调用。既往工作每步查询一个弱验证器,以其分数决定是否还需查询昂贵的强验证器,把强验证留给少数步骤。但单一固定弱验证器会随查询主题与难度的时变而表现不稳,提前承诺则有过贵或不准的风险。我们提出在线多验证器验证(OMVV):维护K个成本与验证性能各异的候选弱验证器池,通过在线分数组合器与指数权重路由策略,把每轮决策自适应路由到选出的验证器。OMVV对整个验证器池的误接受与误拒绝率提供无分布有限时间保证,并在成本与一致性组合目标下相对事后最优固定验证器取得次线性遗憾。推理数据集基准实验显示,跨一系列运行预算,OMVV以更低验证成本获得高于任何单一固定验证器的准确率。