论文

FIRSTPASS:基于真实编辑结果的多领域、多轮同行评审数据集

FIRSTPASS: A Multi-Domain, Multi-Round Peer Review Dataset Grounded in Real Editorial Outcomes

模型评测基准与评测资源

摘要

科学同行评审数据集专门在计算机科学和机器学习场所训练人工智能系统,生成批评消融研究的模型,但从未见过生物学评审员要求污染控制或化学家质疑核磁共振(NMR)光谱分配。我们推出了 FIRSTPASS,这是第一个基于多学科高影响力期刊的完整多轮编辑对话构建的大规模同行评审数据集。 FIRSTPASS 由《自然通讯》强制透明同行评审(2022 年 11 月开始)策划,包含跨越五个科学领域(生物学、化学、神经科学、物理学和地球科学)的 3,668 条记录,捕获了科学验证的完整迭代结构:初始审稿人报告、作者逐点回复和更新的审稿人评估。每条记录都带有一个直接源自编辑决策的结果标签(两轮审查的标准;三轮或更多轮的扩展),提供 真值 在所有先前的语料库中都不存在。自动审核可确认 100% 的内容完整性。专家评论平均为 2,155 个字,比会议场地评论密集得多。所有数据、解析管道和评估脚本均已发布,以实现跨学科的人工智能科学判断的可重复基准测试。