论文
OneLatent:高效基础推荐模型的潜在推理
OneLatent: Latent Reasoning for Efficient Foundation Recommendation Models
摘要
大语言模型 (LLM) 表现出了强大的推理能力,激励它们作为基础推荐模型 (FRM) 的支柱。现有方法通过“先思考后回答”范式下的显式思维链 (CoT) 推理来增强推荐。然而,显式 CoT 通过生成冗长的推理轨迹而产生大量推理开销,并且依赖于手动设计的模板,这些模板难以捕获多样化的动态用户兴趣。我们提出了 OneLatent,一种高效的潜在推理框架,它将显式推理轨迹压缩为多个可学习的潜在标记,从而实现潜在原因然后答案推理,而无需生成详细的轨迹。 OneLatent 首先引入了多视图自适应 CoT (MV-ACoT),它通过从多个角度探索用户兴趣并自动适应每个实例的推理复杂性来创建多样化、高质量的教师生成监督。然后,它以预训练的 FRM 为基础,使用三阶段潜在词元对齐范例,逐步将 CoT 痕迹内部化为可学习的潜在词元。最后,基于多阶段课程的 后训练 策略激活下游推荐任务的潜在词元推理。在工业规模的快手数据集和公共快手 LLM-Rec 基准上的实验表明,OneLatent 始终优于基于 CoT 的显式方法和传统基线。与 FRM 的 Think 和 No-Think 变体相比,OneLatent 将 SID@64 分别提高了 17.44% 和 9.33%,同时实现了超过 17 倍的在线推理吞吐量。我们进一步开发了一个用于可扩展、实时 FRM 推理的生产服务系统。快手本地服务广告场景中的在线 A/B 测试表明,使用该系统部署 OneLatent 的收入预计比 OneRec 和 OneReason 等强大的在线基线提高 9.6%。