自然语言数学证明的经济高效的自动判断

对自然语言数学证明进行评分是评估数学推理系统的一项经常性成本，而前沿 LLM 法官的成本很高。我们询问廉价的开放权重模型是否可以在给定候选证明、真值 证明和人类评分标准的情况下充当可靠的法官。在 IMO-GradingBench 的 200 个实例验证样本中，三个廉价的判断器（GPT-OSS 120B、DeepSeek-V4 Flash、Gemma-4 31B）以统计上与 Claude Opus 4.7 和 Gemini 3.1 Pro 没有区别的比率同意人类的通过/失败决策，而成本却低了 100 倍。我们原本预计这三个方案的多数票将成为最佳预算方案；但结果却是这样。它与前沿相匹配，但没有比其最强成员有所进步。扩展到完整的 1000 个实例基准并探索共识规则，我们发现需要一致同意（全部三遍）才能达到最高的遍数一致性和精度，并且在四次重复运行中达到最小的运行间差异。最重要的发现是，廉价的法官与前沿的法官相比，其成本要低一到两个数量级。作为可部署的默认设置，我们建议采用全三遍，但需要注意的是，该规则是事后确定的，并且需要独立复制。