页面级视觉文档检索：检视42种基准的粒度与证据需求

在现代信息检索 (IR) 中，文档越来越多地表现为视觉丰富、分页单元的结构化序列，而不是平面文本。我们日常生活中遇到的示例文档包括 Word 文件、PDF 和幻灯片。以自由文本为中心的检索系统要么完全忽略这种结构，要么通过任意段落分块破坏它。在本文中，我们制定了以页面为中心的视觉文档检索（VDR），以页面作为基本索引单元和可用于评估页面相关性的文档上下文。这一任务定义区分了两种检索粒度（页面和文档）以及三种检索范式：独立项目、证据集和迭代检索。然后，我们使用涵盖语料库特征、查询构建、相关性注释和排名支持的八个标准评估 42 个基准。我们的分析显示了当前 VDR 研究的两个主要发现。首先，评估仍然集中在页面级独立项目检索上，支持文档级、证据集和迭代设置的资源较少。其次，独立于目标语料内容、源于真实用户信息需求的查询并不常见，分级相关性标注也不常见，而相关性判断的覆盖范围和验证差异很大。这两项发现都揭示了应用程序所需的功能与现有评估协议可以建立的功能之间的差距。我们提供基准选择指导并确定未来基准设计的优先级，强调任务要求、相关性语义和评估协议之间的一致性。