论文
Defend:仅需极少作者指导的同行评审自动反驳
Defend: Automated Rebuttals for Peer Review with Minimal Author Guidance
摘要
反驳(rebuttal)生成是科学论文同行评审流程的关键环节,它使作者能够澄清误解、纠正事实错误,并引导评审人做出更准确的评价。我们观察到,将大语言模型(LLM)直接用于生成反驳时,往往难以进行有针对性的驳斥并保持准确的事实依据,这凸显了结构化推理与作者介入的必要性。为解决这一问题,本文提出 DEFEND,一个基于 LLM 的工具,旨在显式执行自动反驳生成背后的推理过程,同时让作者保持在回路中。与从零撰写反驳不同,作者只需以最小介入驱动推理过程,从而形成一种省力、认知负担更轻的高效方法。我们将 DEFEND 与另外三种范式进行比较:(i) 直接使用 LLM 生成反驳(DRG)、(ii) 使用 LLM 逐段生成反驳(SWRG),以及 (iii) 无作者介入的逐段生成反驳的顺序式方法(SA)。为支持细粒度评估,我们扩展了 ReviewCritique 数据集,构建了评审分段、缺陷与错误类型标注、反驳动作标签,以及到金标准反驳段落的映射。实验结果与一项用户研究表明,直接使用 LLM 在事实正确性与针对性驳斥方面表现不佳。逐段生成以及作者在回路中的自动化顺序方法,则显著改善了事实正确性与驳斥力度。
