AutoSOTA：用于最先进人工智能模型发现的端到端自动化研究系统

人工智能研究越来越依赖于延长复制、调试和迭代细化的周期来实现最先进的 (SOTA) 性能，从而对能够加速经验模型优化的整个流程的系统的需求不断增长。在这项工作中，我们介绍了 AutoSOTA，这是一种端到端的自动化研究系统，可将顶级 AI 论文中发表的最新 SOTA 模型改进为可重复且经过经验改进的新 SOTA 模型。我们通过三个紧密耦合的阶段来阐述这个问题：资源准备和目标设定；实验评价；以及反思和构思。为了解决这个问题，AutoSOTA 采用了由八个专门代理组成的多代理架构，这些代理协作地为代码和依赖项奠定基础，初始化和修复执行环境，跟踪长期实验，生成和安排优化想法，并监督有效性以避免虚假收益。我们根据从八个顶级人工智能会议收集的最新研究论文对 AutoSOTA 进行评估，并根据代码可用性和执行成本进行筛选。在这些论文中，AutoSOTA 在自动复制和后续优化方面都实现了强大的端到端性能。具体来说，它成功发现了 105 个新的 SOTA 模型，超越了最初报道的方法，平均每篇论文大约需要 5 个小时。涵盖 LLM、NLP、计算机视觉、时间序列和优化的案例研究进一步表明，该系统可以超越常规的超参数调整，以识别架构创新、算法重新设计和工作流程级别的改进。这些结果表明，端到端研究自动化不仅可以作为性能优化器，而且可以作为一种新形式的研究基础设施，减少重复性实验负担，并有助于将人类的注意力转向更高水平的科学创造力。