基于基本原理的高效检索：基于 JEPA 的生成重排序器的 同策略 蒸馏

与传统的基于事实的检索不同，基于基本原理的检索通常需要使用 大语言模型 对查询文档对进行交叉编码，从而产生大量的计算成本。为了解决这个限制，我们提出了 Rabtriever，它独立地对查询和文档进行编码，同时为重新排序器提供可比较的跨查询文档理解能力。我们从训练基于 LLM 的生成重排序器开始，它将文档放在查询之前，并提示 LLM 通过对数概率生成相关性得分。然后，我们将其用作 同策略 蒸馏 框架的教师，并以 Rabtriever 作为学生来重建教师的上下文感知查询嵌入。为了达到这个效果，Rabtriever首先从教师处初始化，参数被冻结。然后采用联合嵌入预测架构（JEPA）范式，它在 LLM 层和头之间集成了一个轻量级、可训练的预测器，将查询嵌入投影到新的隐藏空间中，并将文档嵌入作为潜在向量。然后，JEPA 最小化该投影嵌入与教师嵌入之间的分布差异。为了增强同策略 蒸馏的采样效率，我们还在LLM logits的反向KL上添加了辅助损失，以重塑学生的logits分布。 Rabtriever将教师在文档长度上的二次复杂度优化为线性，得到了理论和经验的验证。实验表明，Rabtriever 在各种基于基本原理的任务（包括同理心对话和机器人操作）中均优于不同的 检索器 基线，但重新排序的准确性略有下降。 Rabtriever 还很好地概括了 MS MARCO 和 BEIR 等传统检索基准，其性能可与最佳 检索器 基准相媲美。