论文

道歉不是难的部分:半自主形式化的专家评审案例研究

Sorries Are Not the Hard Part: An Expert-Review Case Study of a Semi-Autonomous Formalization

模型评测模型能力评测

摘要

大型语言模型通常可以弥补交互式定理证明者中的证明差距,但经过验证的定理与可重用的库贡献不同。我们通过详细的案例研究来研究这种区别:格洛腾迪克消失定理的半自主形式化。最初的版本可以顺利编译,但专家评审发现定义、定理通用性、文件组织和 API 方面存在严重问题。然后,我们运行了审查驱动的重构和压缩流程,并获得了第二次专家审查。前后比较显示出明显的分歧:代理很好地适应了本地的、可机械检查的反馈,但在选择定义和设计 API 方面仍然很弱。我们认为,自动形式化不仅应该通过封闭的抱歉来评估,还应该通过由此产生的形式化是否能通过专家审查来评估。

道歉不是难的部分:半自主形式化的专家评审案例研究:论文配图
图 4:整个项目的工具调用(总共 19,393 次)。左:按调用次数排名前 20 名的工具,主要是 shell/文件操作(Bash、Read、Edit、Grep)和 Lean LSP 查询。右图:日常工具调用按类别分组,阶段阴影如图 1 所示。证明构建依赖于Lean LSP 诊断、目标查询和库搜索;审查响应主要是存储库编辑、shell 检查和 grep 式审计——同一棵Lean树上明显不同的工作流程。