论文

研究图:引文演化图作为研究想法生成的监督

Graphs of Research: Citation Evolution Graphs as Supervision for Research Idea Generation

模型训练监督微调与指令调优

摘要

研究想法的产生是自动化科学研究的创新驱动步骤。最近,大语言模型 (LLM) 显示出大规模自动化创意生成的潜力。然而,现有方法主要以LLM通过相关文献或复杂提示工程的静态检索来引发想法生成为条件,而没有丢弃参考文献之间的结构关系。我们提出了研究图(GoR),这是一种有监督的 微调 方法,它为每篇种子论文提取 2 跳参考邻域,从引用位置、频率、前驱链接和出版时间导出这些参考文献之间的关系,并将它们组织成论文演化有向无环图(DAG)。我们构建了一个自动提取管道,从五个主要 ML/NLP 场所提取数据,包括 498/50/50 篇训练/验证/测试种子论文和大约 7,600 篇引用的参考文献。 Qwen2.5-7B-Instruct-1M 在结构化文本提示上进行了微调,其中包括引文图、边缘信号、参考信息和任务定义,以预测种子论文的想法。在与 gpt-4o 驱动的基线进行的头对头 LLM 裁判锦标赛中,GoR-SFT 实现了 SOTA,证明了引文进化图作为基于 LLM 的想法生成的监督信号的有效性。我们希望这能够减少引用演化图作为监督的障碍,加速自动化科学创新。