论文
SPARK:从大规模科学文献中进行骨架引导的推理合成
SPARK: Skeleton-Guided Reasoning Synthesis from Large-Scale Scientific Literature
摘要
科学推理对于开源模型来说仍然具有挑战性,这很大程度上是由于缺乏高质量的科学推理数据。现有数据集通常以事实回忆或公式化问题解决为主,对机制理解、基于证据的推理和假设评估的重视有限。为了解决这个问题,我们引入了 SPARK(科学论文抽象推理骨架),这是一个基于 Sci-Base 构建的面向论文的综合框架,Sci-Base 是一个涵盖 10 个科学学科的大型研究论文语料库。 SPARK 没有将论文直接转换为问答对,而是将论文的主张-证据-推导结构视为推理合成的基本单位。具体来说,SPARK(1)将每篇论文提炼成一个紧凑的推理框架,捕获其中心主张和支持证据,从而能够生成独立的问题,(2)从四个科学角度综合推理任务:机械推理、假设证伪、定量推导和边界校准。最终一致性验证阶段进一步消除不支持或矛盾的输出。使用这个框架,我们构建了Spark-234K,这是一个比现有资源具有更高难度和多样性的科学推理数据集。实验表明,Spark-234K 始终优于现有的科学推理数据集,同时以更少的训练样本实现更强的性能。
