论文

对齐然后适应:用于非对称密集检索的标签高效适配器学习

Align Then Adapt: Label-Efficient Adapter Learning for Asymmetric Dense Retrieval

上下文与知识检索增强

摘要

密集检索系统越来越面临复杂的指令式查询和相对简单的静态文档集合之间的不对称。虽然更强大的嵌入器可以更好地理解此类查询,但重新嵌入大型语料库或 微调 大型模型通常是不切实际的。我们提出了高效检索适配器(ERA),这是一种用于无重新索引检索适应的查询端适配器学习框架。 ERA 首先使用未标记的语料库文档来对齐强查询嵌入器和轻量级文档嵌入器的嵌入空间,然后使用少量标记的查询文档对来调整对齐的查询表示。在来自 6 个领域的 126 个 MAIR 检索任务中,ERA 在对称设置中将平均 nDCG@10 提高了多达 8.2 个点,在非对称设置中提高了 12 个点以上,同时使用的标签比有监督的适配器训练少得多。这些结果表明,检索系统可以受益于更强的查询理解,而无需更新主干嵌入器或重建文档索引。