AutoPyVerifier：学习 大语言模型 输出的紧凑型可执行验证程序

验证正成为基于强化学习的训练和 大语言模型 (LLM) 推理时间控制的核心。然而，当前的验证器面临着一个基本的权衡：基于 LLM 的验证器具有表达能力，但难以控制且容易出错，而确定性可执行验证器可靠且可解释，但通常能力有限。我们研究以下问题：给定一组 LLM 输出和目标标签（例如正确性），我们是否可以自动诱导一组最小的 Python 验证器，其联合满意度与该目标密切匹配？我们提出了 AutoPyVerifier，这是一个使用 LLM 来合成候选验证器函数，然后通过有向无环图 (DAG) 搜索来细化它们的框架。通过导航 DAG，AutoPyVerifier 系统地探索确定性可执行验证器的空间，并选择一个紧凑的验证器集，其联合满意度最接近目标目标。在多个最先进的 LLM 的数学推理、编码、函数调用和指令跟踪基准测试中，AutoPyVerifier 比初始 LLM 生成的验证器集提高了高达 55.0 F1 点的目标目标预测。其他分析表明，最有用的验证目标因基准和模型而异，并且基于 DAG 的搜索将学习的验证器集转向更具结构性和语义基础的检查。我们进一步表明，将发现的验证器集暴露给 LLM 作为外部工具可将下游准确性提高多达 17.0 个点。我们发布我们的代码