论文
当评审意见不一致时:科学同行评审中的细粒度矛盾分析
When Reviews Disagree: Fine-Grained Contradiction Analysis in Scientific Peer Reviews
摘要
科学同行评审经常包含相互矛盾的专家判断,而会议提交的规模不断扩大,使得领域主席和编辑难以可靠地识别和解释此类分歧。现有的方法通常将审稿人的分歧视为对孤立句子对的二元矛盾检测,抽象出审稿级别的上下文并模糊了评估冲突严重性的差异。在这项工作中,我们引入了审稿人矛盾分析的细粒度公式,该公式通过明确识别矛盾证据范围并分配分级分歧强度分数来对完整的同行评审进行操作。为了支持这项任务,我们提出了 RevCI,这是一种由专家注释的同行评审对基准,具有证据级矛盾注释和分级强度标签。我们进一步提出了 IMPACT,这是一种结构化的多智能体框架,集成了方面条件证据提取、审议推理和裁决,以对审稿人的矛盾及其强度进行建模。为了支持高效部署,我们将 IMPACT 提炼为 TIDE,这是一种小型语言模型,可以在单次前向传递中预测矛盾证据和强度。实验结果表明,IMPACT 在证据识别和强度一致性方面均明显优于强大的单智能体和通用多智能体基线,而 TIDE 以显着较低的推理成本实现了具有竞争力的性能。