论文

自适应生成器验证器循环中的有效停止

Valid Stopping in Adaptive Generator-Verifier Loops

模型推理推理验证与自校正

摘要

许多Agentic工作流程都基于生成器-验证器循环:生成器提出候选者,廉价的验证器对它们进行评分,当提案被验证为足够好时,工作流程终止。验证者通常代理一个成本更高的真实预言,并且当生成器自适应地搜索它时,错误的接受可能会累积。提案可以通过代理,但在成本更高的事实检查下会失败。我们研究何时停止这些循环,同时控制已接受提案的错误发现率。我们的构建引入了在无分布统计测试和保形风险控制方面具有独立兴趣的工具,包括通过指数投注构建的 $e$ 值的分析和针对非单调损失的新颖的保形风险控制程序。我们在合成环境和蛋白质设计基准上验证了该方法。

自适应生成器验证器循环中的有效停止的原论文方法或结果图
图 7:一轮蛋白质反馈循环。四个利用候选者从与前一个获胜者相关的存储的中点状态继续,而四个探索候选者从原始主题规范开始。廉价的 ProteinMPNN-ESMFold 管道对生成的提案进行评分,以及与 $t{+}1$ 轮中得分最高的提案种子相关的中点状态。