AIBuildAI-2.5：通过 LLM 引导的树搜索进行高效的自主 AI 模型开发

自动构建人工智能（AI）模型的自主代理可以扩大科学和工程领域对人工智能的使用范围。此类代理的流行系列将模型构建构建为代码搜索问题，并通过树搜索来解决它，其中每个节点都是候选程序，树通过从父程序生成子程序来生长，并且这些代理现在在实际基准上接近经验丰富的人工智能工程师的能力。然而，这些代理在效率方面存在三个尚未完全解决的弱点。首先，在实际预算内只能执行少量候选节点，因此通过执行奖励对节点进行排名的搜索规则（例如蒙特卡罗式树搜索）依赖于少量且嘈杂的分数，并选择下一个节点进行探索效率较低。其次，没有使用资源感知策略来安排训练作业，这会降低硬件利用率和训练效率。第三，每个代理调用都由一个强大的模型提供服务，这会增加推理成本。在这里，我们介绍 AIBuildAI-2.5，这是一个代理系统，它使用 LLM 代理执行树搜索并解决这三个问题。 AIBuildAI-2.5 提出了一种新颖的 LLM 引导的树搜索，其中法官根据预期改进、基础和可行性对每个候选人进行评分，选择者根据这些分数和搜索状态对候选人池进行排名。此外，AIBuildAI-2.5还包括一个调度程序，该调度程序在考虑当前硬件资源状态的情况下启动训练作业，以及一个路由器，该路由器将成本较低的LLM分配给要求较低的任务，同时为AI模型构建工作流程中最具挑战性的子任务保留最有能力的LLM。 AIBuildAI-2.5 在 MLE-Bench 上以 73.3% 的奖牌率排名第一，并且在 AIRS-Bench 的六项自主人工智能研究任务上表现出色。