SciImpact：科学影响预测的多维度、多领域基准

科学文献的快速增长需要自动化方法来评估和预测研究影响。之前的工作主要集中在基于引文的指标上，对模型推理其他影响维度的能力的评估有限。为此，我们推出了SciImpact，这是一个跨越19个领域的大规模、多维度的科学影响预测基准。 SciImpact 通过集成异构数据源和有针对性的网络爬行，捕获各种形式的科学影响力，从引用计数到奖项认可、媒体关注、专利参考和工件采用。它包含 215,928 个对比论文对，反映了短期（例如最佳论文奖）和长期环境（例如诺贝尔奖）中有意义的影响差异。我们在 SciImpact 上评估了 11 个广泛使用的 大语言模型 (LLM)。结果表明，现成的模型在维度和领域上表现出很大的可变性，而多任务监督的 微调 始终使较小的 LLM（例如 4B）明显优于更大的模型（例如 30B），并超越强大的闭源 LLM（例如 o4-mini）。这些结果使 SciImpact 成为一个具有挑战性的基准，并证明了其在多维度、多领域科学影响预测方面的价值。我们的项目主页是 https://flypig23.github.io/sciimpact-homepage/