论文

想法有基因组:科学谱系推理与谱系落地想法生成的基准

Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation

模型评测基准与评测资源

摘要

科学想法很少从空白页开始:它们继承机制、修复已知局限、并重组早期工作的片段——类似生物基因组。当前基准对AI系统能否跟随这种继承结构仍言之甚少。我们提出IdeaGene-Bench(IG-Bench):面向科学谱系推理与谱系落地想法生成的基准。IG-Bench围绕IdeaGene框架组织:每篇论文或提案表示为一组最小的、类型化的、证据落地的Idea Genome对象;GenomeDiff把这些对象对齐,记录六个操作演化动力学下的继承、变异、丢失、外部导入与新插入。基准含跨10个科学领域的1,961条金标谱系痕迹、1,085个策展Idea Genome对象与920条成对GenomeDiff记录。它支持两种评估:IG-Exam(42种任务类型、1,029实例)测试跨Idea Genome抽象、继承追踪、演化推理与谱系验证的闭式谱系推理;IG-Arena以谱系条件化的种群—进化分数(PES)评估生成——追问一个提案能否作为给定谱系种群的连贯后代插入:应继承正确的Idea Genome对象、与邻近工作有意义地变异、并为未来研究提供选择价值。14个基于LLM的科学家的实验暴露组合瓶颈:最强系统在谱系推理上仅达27.3%精确准确率,且结构化谱系上下文重新洗牌系统排名而非 uniformly 帮助每个参与者。

想法有基因组:科学谱系推理与谱系落地想法生成的基准:论文配图
图 1:从以论文为中心的搜索到以基因组为中心的谱系。以论文为中心的观点留下了一个包含许多相关论文的模型,但没有明确的单元来决定哪些想法是继承的、变异的、重组的或仅仅是共置的。以基因组为中心的视图首先提取 Idea Genome 对象,然后通过 GenomeDiff 记录将它们对齐到种群和谱系中,使进化关系足够明确以进行评估。