RSRank：从表征转变中学习相关性

随着企业部署基于 RAG 的系统来为用户查询提供可靠的响应，重新排名已成为最终过滤步骤的关键组成部分，该步骤将相关文档与分散注意力或不相关的文档分开。现有的重新排序器通常依赖启发式阈值来实现最佳过滤。此外，对于相关性评分，最先进的方法使用语言模型的 logits 信号，该信号是为下一个标记预测而设计的，而不是为了评估相关性。为了解决这些限制，我们确定了相关性的原则信号：以文档为条件时在查询的内部状态中引起的表征转变（RS）。我们观察到，(a) 由候选文档引起的 RS 和 (b) 由预言文档集引起的 RS 之间的对齐提供了可靠的相关性指标。基于这一见解，我们引入了一个轻量级训练框架，该框架学习将 RS 映射到校准相关性分数的投影。我们的训练目标自然地以零阈值过滤不相关的内容，减少对启发式调整的依赖。在不同的检索数据集上，我们的方法比 SOTA 重新排序器有优势。