通过分层索引进行高效检索扩展以实现大规模推荐

训练期间数据量、计算资源和模型参数的增加导致了许多用于推荐任务的大规模工业检索模型的开发。然而，有效且高效地部署这些大规模基础检索模型仍然是一个尚未得到完全解决的关键挑战。部署这些大规模模型的常见快速解决方案包括依赖离线计算（例如缓存的用户字典）或将大型模型提炼为较小的模型。然而，这两种方法都无法充分利用基础模型的表示和推理能力。在本文中，我们探讨是否有可能在基础检索模型的记忆上学习分层组织。这种层次结构将通过降低检索成本同时保持准确性来实现更有效的搜索。为了实现这一目标，我们建议使用交叉注意力和残差量化来联合学习大规模检索模型的分层索引。我们还在 Meta 上展示了它的实际部署，支持数十亿 Facebook 和 Instagram 用户的日常广告推荐。有趣的是，我们发现学习索引中的中间节点对应于一小组高质量数据。 微调 该集合上的模型进一步提高了推理性能，并将推荐系统领域内的“测试时训练”的概念具体化。我们使用具有强大基线比较的内部和公共数据集来展示这些发现，并希望它们有助于社区开发下一代基础检索模型的努力。