论文
想法有基因组:科学谱系推理与谱系落地想法生成的基准
Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation
摘要
科学想法很少从空白页开始:它们继承机制、修复已知局限、并重组早期工作的片段——类似生物基因组。当前基准对AI系统能否跟随这种继承结构仍言之甚少。我们提出IdeaGene-Bench(IG-Bench):面向科学谱系推理与谱系落地想法生成的基准。IG-Bench围绕IdeaGene框架组织:每篇论文或提案表示为一组最小的、类型化的、证据落地的Idea Genome对象;GenomeDiff把这些对象对齐,记录六个操作演化动力学下的继承、变异、丢失、外部导入与新插入。基准含跨10个科学领域的1,961条金标谱系痕迹、1,085个策展Idea Genome对象与920条成对GenomeDiff记录。它支持两种评估:IG-Exam(42种任务类型、1,029实例)测试跨Idea Genome抽象、继承追踪、演化推理与谱系验证的闭式谱系推理;IG-Arena以谱系条件化的种群—进化分数(PES)评估生成——追问一个提案能否作为给定谱系种群的连贯后代插入:应继承正确的Idea Genome对象、与邻近工作有意义地变异、并为未来研究提供选择价值。14个基于LLM的科学家的实验暴露组合瓶颈:最强系统在谱系推理上仅达27.3%精确准确率,且结构化谱系上下文重新洗牌系统排名而非 uniformly 帮助每个参与者。
