论文
从人类科研决策轨迹学习科学探索
Learning Scientific Exploration from Human Research Decision Trajectories
摘要
构建用于科学研究的人工智能系统的一个关键挑战是启用 $\textit{scientific exploration}$:调查未知现象或想法以通过研究决策和行动序列获得新知识的系统过程。然而,现有的科学语料库很大程度上缺少这个过程;例如,研究论文主要记录最终结果,而不是产生这些结果的轨迹。在这项工作中,我们引入了 $ResearchTrails$,这是 $human research trajectories constructed from Git repositories$ 的数据集,其中 $commit histories$ 作为研究探索的代理。我们开发了一个自动化且可扩展的管道,可以从存储库提交中提取结构化的研究轨迹,捕获方法、实验和 消融 的连续更改。我们对所得数据集进行了表征,并表明这些轨迹包含有关中间研究决策的有意义的信号,超出了最终论文所揭示的范围。我们进一步展示了 ResearchTrails 在多个用例中的实用性,包括在测试时检索人类研究经验作为外部技能,以及研究轨迹上的训练模型以提高对新研究决策的泛化。我们的研究结果提出了一条通往人工智能系统的道路,该系统不仅从科学产品中学习,而且从发现本身的演变过程中学习。
