论文

前沿数学 Erdős

FrontierMath Erdős

模型评测基准与评测资源

摘要

我们引入 FrontierMath Erdős (FME),这是截至 2026 年 8 月开放的 68 个 Erdős 问题的基准。为了解决 FME 中的任务,人工智能系统必须解决(证明或反驳)证明助手 Lean 中的 68 个猜想之一。我们的 68 个问题是由第二作者根据其数学兴趣和难度从该 http URL 上的 652 个开放问题中选出的。人工智能最近解决了数学中的几个开放性问题,但这些演示缺乏对人工智能功能的系统研究。 FME 在相同的固定问题上、在相同的预算下自主评估每个人工智能模型。我们评估了五个人工智能,每个问题的预算为 300 美元。其中一个 (GPT-6 Astra) 得分为 3%,其他所有得分为 0%。