论文

Querit-Reranker:通过高效的无标签分布适应训练紧凑型多语言重排序器

Querit-Reranker: Training Compact Multilingual Rerankers via Efficient Label-Free Distribution Adaptation

模型训练合成数据

摘要

可部署的多语言重新排序器不仅必须能够跨语言、领域和排序任务进行泛化,而且还必须在实际系统中保持高效作为第二阶段重新排序器。然而,使其适应新的目标分布通常需要大量特定于任务的相关性注释。我们推出了 Querit-Reranker,这是一系列多语言重新排序器,经过以数据为中心的管道进行训练,以实现标签高效的适应。我们将其实例化为 Querit-Reranker-A0.4B(从具有 0.4B 激活参数的内部 MoE 主干初始化)和 Querit-Reranker-4B(从 Qwen3-Embedding-4B 初始化)。我们的管道首先从大规模的面向排名的数据中学习一般相关性建模,然后通过综合查询挖掘以教师分数作为连续软标签来适应目标分布。为了巩固互补的任务适应优势,我们通过球形线性插值进一步合并检查点,获得单个可部署模型,而无需运行时集成开销。使用 Qwen3-Embedding-0.6B 作为第一阶段 检索器,Querit-Reranker-A0.4B 将 BEIR 上的平均 nDCG@10 从 54.11 提高到 59.28,在 MIRACL 上从 59.87 提高到 67.70。在 MTEB Multilingual v2 Reranking 上,它还显示出与更大的基于嵌入的模型的竞争性能,而 Querit-Reranker-4B 进一步在所有评估的模型中实现了最先进的性能。我们在 Hugging Face 上发布了这两个模型。