论文

潜在术语:密集 检索器 包含可轻松提取的 BM25 就绪 Zipfian 词汇表

Latent Terms: Dense Retrievers Contain Trivially Extractable BM25-ready Zipfian Vocabularies

上下文与知识检索增强

摘要

我们提出了潜在术语,这种方法揭示了为密集检索而训练的模型,无论是单向量还是多向量,都可以学习可以轻松分解为检索就绪的稀疏特征的表示。当在冻结的 检索器 上进行训练时,稀疏自编码器无需任何特定于检索的调整,即可提取具有近似 Zipfian 集合统计数据的潜在词汇,直接适合通过 BM25 进行经典稀疏检索评分。这种方法可以实现稀疏检索,同时不需要任何学习的扩展目标或稀疏检索监督,并且可以轻松应用于任何密集的 检索器。 LatentTerms 能够匹配或优于来自其自身基本模型的单向量评分方法以及类似的 SPLADE 变体。此外,它在 LIMIT 上的性能大大优于其基本模型,LIMIT 是一项专门设计用于突出单向量检索失败的任务。总体而言,我们的结果强调,神经 检索器 包含比其默认评分函数暴露的更具表现力和可索引的结构,但仍然可以利用其他方法。