通过效用蒸馏使稠密检索器适配大模型生成

稠密向量检索是检索增强生成（RAG）的实用支柱，但相似性搜索可能会受到精度限制。相反，利用 LLM 重新排序的基于效用的方法通常可以实现卓越的性能，但计算量却很大，并且容易产生困惑度估计中固有的噪声。我们提出了效用对齐嵌入（UAE），这是一个旨在将这些优势合并到实用的高性能检索方法中的框架。我们将检索表述为分布匹配问题，训练双编码器来模仿使用效用调制 InfoNCE 目标从困惑度减少中导出的效用分布。这种方法将分级效用信号直接注入嵌入空间，无需测试时 LLM 推理。在 QASPER 基准上，UAE 与强语义基线 BGE-Base 相比，检索 Recall@1 提高了 30.59%，MAP 提高了 30.16%，Token F1 提高了 17.3%。至关重要的是，UAE 的速度比有效的 LLM 重排序方法快 180 倍以上，从而保持了竞争性能，这表明将检索与生成效用相结合可以产生大规模的可靠上下文。