同行评审生成的基于判断的扩展

自动评论生成是加速科学进步的一个有前途的方向。虽然大多数工作采用端到端设置，但其完全自动化的性质使其不太适合需要问责制的设置。为了更好地平衡自动化和问责制，我们将基于判断的扩展正式化，这是一种人机协作模式，审稿人提供评估性主张，系统将其扩展为审稿评论候选者。我们将其建模为结构化的生成-检查-细化过程，并进行用户研究以收集人类模型交互数据。我们研究了基于判断的扩展的两个实际挑战：可扩展的评估和候选集管理。我们开发了模拟大规模评估过程的方法，并表明保形预测非常适合平衡候选集大小和目标覆盖范围。我们的工作将基于判断的扩展建立为一项具体任务，并为未来协作评审生成系统的设计提供了经验和方法论基础。