jina-reranker-v3.5：具有混合注意力和自我的高效列表重排序器 蒸馏

列表重排序是代理检索管道的判别核心，但生产部署同时要求半结构化数据的效率、域鲁棒性和流畅性。我们推出了 jina-reranker-v3.5，这是一个 0.6B 参数的列表重排序器，它可以同时满足这些需求，而不会牺牲使其前身 jina-reranker-v3 有效的跨文档比较功能。 jina-reranker-v3.5 保留了 jina-reranker-v3 的最后但不迟到 (LBNL) 交互，并沿三个轴对其进行了重新设计。它用三个滑动窗口层和两个全局层的混合调度取代了统一的全局注意力，根据 LBNL 读出的需要将终端层固定到全局。它在精心策划的多领域混合体上进行训练，涵盖法律、医疗、金融、多语言和结构化检索。它通过三阶段自我 蒸馏 配方来传递质量，其中全神贯注的教师设置上限，然后稀疏注意力的学生在分阶段适应协议下恢复。 jina-reranker-v3.5 在 BEIR 上达到 63.20 nDCG@10，以大约 7 倍的参数匹配 4B 模型，并且在 MIRACL 和 RTEB 上也比 jina-reranker-v3 有所改进。它最大的进步来自于半结构化检索，它使 nDCG@10 比 jina-reranker-v3 提高了 9.6 个点，并领先于所有同等规模的重新排序器。混合计划进一步将列表推理延迟缩短了 1.56 倍。我们在非商业许可下在 Hugging Face 上发布了模型权重。