检索器从不同角度能找到同一篇论文吗？多方面的全论文科学检索基准

科学论文包含多个可搜索的方面，例如背景、方法。然而，许多论文检索基准仅评估单个查询与论文的相关性，而忽略了同一篇论文的其他方面。为了弥补这一差距，我们引入了 MAPLE，这是一种经过专家验证的多方面全文检索基准，用于评估 检索器 是否能够从针对其动机、方法和实验结果的查询中一致地恢复同一篇论文。 MAPLE 包含 2,095 个关于最近的 ML 和 NLP 论文的查询，这些论文基于文本和多模式内容。我们进一步提出了 MAPLE-Synth，一种基于检索的上下文学习管道，它利用 OpenReview 讨论和人工编写的查询示例来生成反映研究人员对论文不同方面兴趣的真实查询。我们的专家验证表明，这些查询在真实性上与人类编写的查询相当，并且与目标论文高度相关。跨词汇、科学领域、通用文本和多模态 检索器 的实验揭示了从任何一个方面检索一篇论文与从所有方面检索一篇论文之间存在巨大差距：最强的模型达到了 98.1% AnyAspect@20，但只有 15.7% AllAspect@20。实验/结果查询和表引用查询在 检索器 中特别困难。尽管多块聚合改进了多方面的论文检索，但仍然存在相当多的失败。 MAPLE 提供了一个用于评估和开发更全面地代表科学论文的 检索器 的测试平台。