论文

了解精益形式化的工具增强代理:因子分析

Understanding Tool-Augmented Agents for Lean Formalization: A Factorial Analysis

智能体系统Agent任务评测

摘要

将自然语言数学自动翻译成忠实的 Lean 4 代码,受到非正式集合论直觉和严格形式类型理论之间根本不一致的阻碍。这种差距通常会导致 LLM 产生不存在的库定义的幻觉,从而导致代码无法编译或缺乏语义保真度。在这项工作中,我们通过对三个不同工具类别的系统因子分析来调查工具增强代理对于此任务的有效性:微调模型查询(访问专家草稿)、知识搜索(检索符号定义)和编译器反馈(通过Lean REPL 验证代码)。我们首先根据一次性基线对代理进行基准测试,证明编译成功和语义等效性方面都取得了巨大进步。然后,我们使用阶乘分解来量化每个类别的影响,隔离每个工具类型对整体性能的边际贡献。