论文

ReGround:在多模式证据中扎根审稿人的评论

ReGround: Grounding Reviewer Comments in Multimodal Evidence

模型评测基准与评测资源

摘要

审稿人的评论自然与所审稿论文的特定部分相关,但由于多模式文档较长,因此很难将这些评论与基础证据结合起来。现有的基准测试并未捕获此设置,并且主要关注显式的信息寻求查询。我们引入了 ReGround,这是一个用于审稿人评论基础的大型数据集,它将 10,267 条审稿人评论与原始匿名提交的 3,656 篇论文中的 16,274 条证据联系起来。我们建立在一个简单的观察之上:作者的反驳通常包括对用于解决审稿人评论的提交内容的明确引用,从而提供高精度的注释源。我们将基础作为一项检索任务,并评估各种检索方法。结果表明,对整个论文内容的检索表现不佳,证据类型推理是主要瓶颈,而多模态证据提供了仅文本所遗漏的补充信号。我们的数据集将审稿人的评论作为科学文献理解的一个困难且实际重要的问题暴露出来。