AIM：Agentic 自动化研究创意管理

前沿大语言模型越来越多地用于通过迭代搜索来实现科学研究的自动化。我们区分想法驱动的搜索和解决方案驱动的搜索，并确定三个核心挑战：组织不断发展的研究想法、选择有前途的方向以及保持想法与其实现之间的一致性。为了应对这些挑战，我们引入了 Agentic 创意管理器 (AIM)，这是一个完全自主的框架，用于管理和探索创意驱动的自动化研究中的研究方向。受贝叶斯优化的启发，AIM 使用 Agentic 代理和 Agentic 获取机制来组织发现的想法并指导其选择。解决方案审核员维护想法-解决方案的完整性，而资源规划员则在并行搜索分支之间自适应地分配剩余的实验预算。对 10 个 AutoLab 基准任务进行的实验表明，AIM 在系统优化任务上超过最强基线 1.6 个百分点，在长期模型开发和 CUDA 任务上超过最强基线 4.9 个百分点。值得注意的是，AIM 达到了最佳基准性能，挂钟时间快了 3.1 倍。我们进一步提供了关于何时搜索想法变得有益的理论分析。我们的分析表明，明确的想法级别分配使得语义覆盖范围直接可控，并且当竞争性研究方向在许多看似合理的替代方案中稀疏时，更广泛的覆盖范围变得越来越有价值。项目页面：https://imhgchoi.github.io/agentic-idea-manager/