论文
EGR:使用共享 LLM 进行嵌入本机生成检索
EGR: Embedding-Native Generative Retrieval with a Shared LLM
摘要
生成检索在大规模推荐和广告系统中越来越流行,但当前的方法引入了实际的复杂性。语义 ID 方法依赖于量化、可变标识符词汇表和标记到项目的基础;基于嵌入的管道将项目编码器与查询生成器分开训练,这限制了用户-项目对齐。我们提出了 EGR,一种用于推荐和广告的嵌入原生生成检索框架。 EGR 使用单个共享 LLM 从一个嵌入空间中的项目元数据学习项目表示,并从交互历史记录学习用户表示。项目直接索引为密集向量,用户历史记录编码为密集检索查询。联合对比训练对相关项目进行分组,并将查询与其目标项目对齐。我们根据公共基准、工业数据和现场部署来评估 EGR。 EGR 的表现优于亚马逊评论上发布的基线;在 Snap DPA 上,它可以根据数据进行扩展,处理冷启动项目,并从多模式输入中受益。在生产中,EGR 可将转化率提升 2.91%,简化系统设计,同时提高检索质量和广告效果。