转变：自我重构利用内隐的细粒度思维进行检索

基于LLM的检索器已成为现代信息检索系统的基本组成部分。 “重写然后检索”的范例在检索之前引入了显式推理。此外，GIRCSE和LaSER等隐式推理检索器通过用软词元代替显式推理来提高效率。尽管这些方法在推理密集型检索基准上表现出了竞争性的性能，但它们很难解决检索和生成目标之间的不匹配问题。在这项工作中，我们提出了 SHIFT ($\textbf{S}$elf-reconstruction $\textbf{H}$arnesses $\textbf{I}$mplicit $\textbf{F}$ine-grained $\textbf{T}$hinking for Retrieval)，一个基于 LLM 的检索训练框架。首先，我们将 LLM 转换为推理高效的 检索器，在潜在空间中具有残差投影和面向任务的双向注意聚合。其次，我们使用基于细粒度的下一个标记预测的重建来减轻对比学习和隐式推理之间的不匹配。对推理密集型检索基准的大量实验表明，SHIFT 始终优于其他广泛使用的 检索器。我们还进行了详细的分析来说明我们的方法是如何工作的。