论文

生成检索克服了密集检索的局限性,但与标识符模糊性作斗争

Generative Retrieval Overcomes Limitations of Dense Retrieval but Struggles with Identifier Ambiguity

模型评测模型能力评测

摘要

虽然将查询和文档嵌入到共享低维空间的密集检索模型已获得广泛流行,但它们表现出重要的理论局限性,并且在某些设置中大大落后于传统的稀疏检索模型。生成检索已成为密集检索的替代方法,它使用语言模型直接预测查询文档相关性。在本文中,我们使用一个名为 LIMIT 的简单合成数据集展示了生成检索方法的优点和缺点,该数据集之前被引入以凭经验证明基于嵌入的检索的理论局限性,但并未用于评估生成检索。我们弥补了这一研究差距,并表明,与密集方法 (< 0.03 Recall@2) 和 BM25 (0.86 R@2) 相比,生成检索无需任何额外训练即可在此数据集上实现最佳性能(SEAL 和 MINDER 分别为 0.92 和 0.99 R@2)。然而,我们随后通过添加简单的硬负样本来扩展原始 LIMIT 数据集,并观察到所有模型的性能下降,包括生成检索模型 (0.51 R@2) 以及 BM25 (0.21 R@2)。错误分析识别出解码机制中的故障,该故障是由于无法生成相关文档唯一的标识符而引起的。未来的生成检索必须解决这些问题,要么通过设计更适合解码过程的标识符,要么通过调整解码和评分算法来保留相关信号。