用于大规模推荐的基于 LLM 的用户角色

大语言模型 (LLM) 通过其世界知识和推理能力为增强推荐系统提供了前所未有的潜力。然而，现有方法通常依赖于结构化 ID 或离线处理，限制了语义丰富性、实时适应性和面向用户的可解释性。在本文中，我们介绍了一种新颖的框架，可以为大型商业视频推荐平台实时生成基于 LLM 的用户兴趣角色。我们的方法生成自然语言用户兴趣角色，通过在服务过程中直接将现有兴趣的总结与新主题相结合来解决利用-探索的权衡。为了克服十亿用户规模的在线 LLM 推理的计算挑战，我们设计了一种经济高效的架构，利用 知识蒸馏、异步推理和通过语义集群视频表示进行输入优化。广泛的离线评估、用户研究和实时 A/B 测试表明观众价值显着提高。这项工作弥合了高级语义理解和工业规模推荐之间的差距，为更加动态、可解释和令人满意的个性化体验铺平了道路。