专家混合语言模型可以成为强大而高效的检索器

最近的工作表明，对用于检索的仅解码器的大型语言模型（LLM）进行微调可以产生强大的第一阶段检索器，并且随着主干尺寸的增大，效率也会提高。然而，每个查询和文档都必须通过完整的模型，因此编码成本随着模型大小的增加而增加。专家混合 (MoE) 大语言模型仅激活每个词元的参数子集，并广泛用于扩展生成模型，但作为检索器仍然未被充分开发。我们通过使用相同的程序训练来自多个家庭的 MoE 和密集 LLM，在不同的数据集上评估它们，并测量相同服务配置下的查询编码时间，系统地研究用于检索的 MoE 主干。我们表明，在 BEIR 上，MoE 检索器的性能优于具有可比活性参数计数的密集检索器高达 3.0 nDCG@10 点。我们最强大的 MoE 检索器之一与 8B 密集检索器相匹配，活动参数减少了 59%，查询编码时间减少了 18%。我们进一步表明，可以减少用于查询编码的专家数量，而无需重新训练或重新索引，保留超过 99% 的检索效率，同时将查询编码时间减少多达 26%。与强大的 MoE 第一阶段相比，最近的重新排名仅提供了适度的额外收益，这通常匹配或超过我们评估的重新排名配置。总之，这些结果表明 MoE LLM 可以成为强大且高效的第一阶段检索器。