论文

ProofCouncil:解开放数学问题的LLM智能体

ProofCouncil: An LLM Agent for Solving Open Mathematical Problems

智能体系统Agent 架构与控制循环

摘要

大语言模型(LLM)在解决数学开放问题上前景日增。但其表现可经贴合真实数学实践的智能体工作流进一步提升。为此我们提出ProofCouncil:一个以作者—批评者架构 tackling 开放问题设计的数学智能体。ProofCouncil作为提交参加FirstProof第二批——一个由10个真实数学问题组成、要求智能体自主求解的挑战:其对10题中6题的提交被裁判判定为“正确至多需小修”,在参赛队伍中表现最佳。我们还在从数学研究者处收集的30个开放问题上评估ProofCouncil:在获得人类反馈的21个解中,5个被判完全正确、另有2个被判有前景待最终核验、再有8个含有用的部分进展。本短文描述ProofCouncil及其所用智能体构建库的开发,并以开源形式向社区发布。

ProofCouncil:解开放数学问题的LLM智能体:论文配图
图 5:用于将可重用工作流组件插入 DAG 的节点添加菜单。