Metag：用于构建代理元审查功能的数据集

人工智能工具越来越多地支持整个科学研究周期的任务，从实验设计和手稿准备到同行评审。与此同时，会议提交量的持续增长增加了元审稿人的负担，他们必须综合审稿人的反馈、作者的反驳和稿件的修改。为了解决这个问题，本文引入了 Metag，这是一个加速元审稿代理开发的数据集，特别是用于识别审稿反驳过程中对科学文章所做的更改。每个实例都包含审稿人的关注点、作者提出的解决方案以及实现所述更改的手稿差异。元标记的收集方式是获取审稿截止日期之前和接受之后的手稿版本，计算两个文档之间的差异，并要求人工注释者将这些差异与 OpenReview 讨论中的操作项目保持一致。生成的数据集由 349 个与论文差异相关的高质量行动项目组成，将能够构建方法，使元审稿人能够快速识别作者是否已解决审稿人的声明以及论文中的哪些位置进行了这些更改，从而在整个同行评审过程中提高透明度和可追溯性。该数据集可在 https://github.com/microsoft/Metag-dataset 上公开获取。