TheoremBench：评估LLM在形式数学定理证明上的表现

大语言模型最近在正式证明基准上取得了强劲的成果。然而，现有的评估仍然主要集中在竞争型问题上，并且常常无法捕捉模型在更长期、更依赖丰富的数学发展中的表现。我们引入了 TheoremBench，这是一个 Lean4 基准测试，旨在评估竞赛设置之外的定理证明者。该基准由近百个经典定理构建，并以两种互补形式发布：一个简单的主版本，每个实例包含一个目标定理；一个前提版本，将每个定理扩展为相关证明任务的结构化系列，其中包括主定理和自动提取的支持子定理。这种设计不仅可以评估最终定理是否从头开始证明，还可以评估定理内部证明结构的部分进展。我们的实验表明，显式前提极大地提高了支持 Lean4 的证明者模型的性能。为了提供全面的评估，我们引入了定理级覆盖率和令牌效率指标，这些指标揭示了证明行为的定性差异。结果表明，当前的证明者仍然强烈偏向于简单的子定理，并且经常通过长而低效的策略轨迹而不是紧凑的证明计划来解决定理。因此，TheoremBench 提供了形式推理能力的更细粒度的视图，并强调了结构基准设计对于评估 Lean4 定理证明者的重要性。