论文
面向稠密检索的检索接地潜在推理
Retrieval Grounding Latent Reasoning for Dense Retrieval
摘要
推理密集型检索要求文本表示不仅捕获语义相似性,还要捕获在给定检索指令下判定相关性所需的推理。现有推理增强的嵌入模型通过将推理信息融入稠密表示来改进检索,但其监督通常由最终检索目标主导。结果,潜在推理轨迹可能学到保留检索性能却不带来有意义检索增益的捷径推理模式。我们提出检索接地潜在推理(RGLT),一个面向稠密检索的潜在推理框架,显式地将中间潜在转移与检索改进联系起来。RGLT通过由静默token构建的指令条件潜在推理轨迹,在隐空间中执行非自回归推理。它将过程监督的显式到隐式蒸馏与检索接地监督相结合,用分阶段CoT重构塑造中间潜在状态,并用检索效果信用分配在整个潜在推理轨迹上优化增量检索增益。在推理密集型检索基准上的实验表明,RGLT持续优于强基线,同时保持高效的嵌入推理。
