LLM在Lean数学形式化中的评估

摘要

在过去的几年里，大型语言模型（LLM）生成形式数学证明的能力得到了显着提高。我们对各种大语言模型在Lean 4 中生成正式证明的有效性进行了比较，目的是帮助那些寻求使用大语言模型来支持自己项目的人。我们利用 pass@$k$ 和细化@$k$ 指标作为我们对 miniF2F 和 miniCTX 数据集的子集进行比较和评估的基准。我们的测试表明，总体而言，Gemini 3.1 Pro 和 Claude Opus 4.7 表现最佳。 Gemini 3.1 Pro通过refine@32在miniF2F上实现了92%的成功率，而Opus 4.7通过refine@32在miniCTX上实现了86%的成功率。考虑到成本时，NVIDIA Nemotron 3 Super 和 GPT-OSS 120B 是最高效的，具有具有竞争力的精度，每个正确证明的平均成本为 $<\$0.01$。

LLM在Lean数学形式化中的评估：论文配图 — (a) (b) 图 3.1：每张图展示了 miniF2F 和 miniCTX 上所有模型 1≤k≤321\leq k\leq 32 的 pass@kk/refine@kk。每条曲线都在增加，除了 pass@kk 的 Goedel 模型没有增加。这可能是由于响应的同质性所致。一般来说，除了前沿模型（Gemini Pro 等）和 GPT-OSS 之外，miniCTX 的准确度较低。 pass@kk 的曲线更平滑，因为 pass@kk 函数由二项式表达式 (1) 给出，而fine@kk 具有离散间隔值。对于接近 32 的 kk，Gemini 3.1 Pro 是除了 miniCTX 上的fine@kk 之外的所有模型中表现最好的模型，在该模型中，Gemini 3.1 Pro 的性能优于 Opus 4.7。另一方面，Goedel 8B在miniCTX上具有最低的pass@kk和refine@kk，Gemini 3.1 Flash-Lite在miniF2F上具有最低的pass@kk，而GPT 5.4-mini在miniF2F上具有最低的refine@kk。