论文
PrimeScientist:自主研究中研究工作的战略分配
PrimeScientist: Strategic Allocation of Research Effort in Autonomous Research
摘要
自主研究代理旨在实现从提出想法到进行实验和分析结果的科学工作流程自动化。然而,当前的人工智能和研究机构可以提出比现有资源允许他们追求的更多方向。此外,每次尝试都可能消耗大量资源,要求代理人重新考虑如何投资后续研究。因此,决定如何战略性地投入研究工作应该是自主研究机构的一项决定性能力。因此,我们引入了PrimeScientist,它在连续的研究尝试中共同确定研究方向和资源投入。具体来说,我们将战略研究工作分配的挑战表述为一个顺序决策问题,其中剩余资源应明确指导研究政策。我们首先引入一个可执行的计划树,它可以在尝试中保留竞争计划及其结果。在此基础上,我们提出了一种基于 MCTS 的自适应分配策略,该策略使用实验反馈和剩余资源来平衡探索和开发。人工智能研究、系统和代码优化以及机器学习工程的综合评估表明,战略配置共同提高了研究质量和样本效率。在 12 项人工智能研究任务中,在相同资源预算下,PrimeScientist 将平均奖励提高了 10.3%,而研究尝试次数比 AutoResearch 少了 50.6%。我们相信,将研究工作分配作为明确的优化目标,可以将有效的资源利用确立为自主主体的核心研究能力,从而推动大规模的科学突破。