AIBuildAI-2：用于自动构建AI模型的知识增强智能体

摘要

AI模型支撑着从图像与文本处理到生物、物理、化学中科学发现等以数据为中心的应用。然而，开发AI模型仍高度依赖人工，从业者需要设计架构、搭建训练流水线并迭代改进方案，这使得缺乏专门AI工程专长的自然科学工作者难以构建其研究所需的高性能模型。为减轻这一负担并拓宽科学发现使用AI的途径，自动构建AI模型的智能体应运而生。然而，这些智能体的性能在很大程度上受限于其底层大语言模型的参数化知识——此类知识是静态的、常常过时，且在实用的AI模型工程诀窍方面稀疏。为解决这一局限，我们提出AIBuildAI-2，一个配备外部、可演化知识系统的知识增强智能体，用于自动构建AI模型。AIBuildAI-2的知识系统是分层的：它将精选的AI开发知识组织为覆盖主题类别的高层知识指令和每个类别下的低层知识文档，智能体从中只动态加载与其当前状态和所解AI任务相关的上下文，使每个设计与实现决策都建立在具体、可外部验证的专业知识之上。该系统通过从网络收集并清洗AI开发相关文档、归入相应类别来完成初始化，并从智能体自身经验中持续演化：将每次AI任务完成运行蒸馏为结构化要点并写回知识系统。AIBuildAI-2取得了最先进的结果，在MLE-Bench上以70.7%的奖牌率排名第一，并在一项心脏病预测竞赛中进入4,370支人类专家队伍中的前6.6%。

AIBuildAI-2：用于自动构建AI模型的知识增强智能体：论文配图 — 图 1：AIBuildAI-2 概述。 a、总体工作流程。 AIBuildAI-2 将 AI 任务的文本描述和训练数据作为输入，并输出经过训练的模型检查点和推理脚本。它采用分层子代理架构：设置代理准备软件环境，然后管理代理监督多个并行解决方案存储库并调用每个并行解决方案存储库的设计器、编码器或调优子代理，聚合代理最终选择或集成最强的存储库。所有子代理都连接到一个全面的、分层的、不断发展的知识系统，他们向该系统查询外部专业知识，以支持他们的设计、实施和调整决策。每次完成运行后，知识构建者代理都会将运行提炼到知识系统中，以便它随着代理的经验而增长。 b、知识体系。该知识系统有两个层次：顶层（L1），人类编写的约 30 个人工智能模型开发主题类别（例如数据处理、模型选择和集成技术）的索引，每个类别都承载高级知识指令；底层 (L2) 是一个包含大约 1,000 个低级知识文档的专家查找存储库，L1 指令指向这些文档以获取更具体的知识。通过动态上下文加载，整个系统的子代理检索 L1 索引并有条件地加载 L2 文档。知识系统由两个构建器代理演变：一个 L2 构建器，用于分析执行跟踪以生成新的 L2 文档；以及一个 L1 构建器，用于增量更新 L1 指令。