基于 LLM 的 Snapchat 内容推荐生成检索

预训练的 大语言模型 (LLM) 是有前途的检索引擎，因为它们结合了丰富的语义先验、强大的序列建模功能和有利的扩展行为。然而，在生产部署中将预训练的 LLM 转变为生成式 检索器 会带来几个挑战：模型必须学习预训练中缺少的内部项目词汇表，并在严格的延迟和成本约束下生成有效的项目标识符。我们通过设计和推出 SnapLGR 来应对这些挑战，这是一个基于 LLM 的生成检索系统，用于 Snapchat 的短视频推荐。该系统围绕三个主要设计构建。首先，我们从多模式项目嵌入构建语义标识符 (SID)，并通过基于个性化 PageRank (PPR) 的共同参与对比学习来增强它们，从而提高码本利用率、减少冲突并注入协作信号。其次，我们在用户交互序列上的监督 微调 (SFT) 之前使用持续预训练 (CPT) 来基础引入的 SID 词元。第三，我们通过 TensorRT-LLM CUDA 支持的波束搜索和分散的工作循环架构使 SnapLGR 服务变得实用。在实时 A/B 测试中，相对于现有的 TIGER 式生成检索基线，启动的系统将观看时间增加了 0.37%，花费时间增加了 0.09%，深度会话增加了 0.18%，深度会话唯一用户增加了 0.11%。然后，我们在固定标记器下分解这个离线差距，并量化模型架构、缩放和预训练带来的收益。总的来说，我们的部署表明，成功的生产 SnapLGR 需要跨表征学习、词汇基础以及高效训练和服务的联合设计。