用于联网电视内容发现的 LLM 支持的代理推荐系统

从传统的多阶段到最近的统一生成架构，推荐系统在将不同的上下文信号（例如趋势主题、突发新闻、文化事件和跨表面用户活动）纳入其排名管道时面临着挑战。这些系统旨在使用具有一致模式的结构化行为信号，并且缺乏自然处理非结构化或异构格式上下文信息的推理能力。合并此类信号通常需要特征工程、定制数据管道和仔细调整的启发式方法。在本文中，我们提出了一种由 LLM 支持的代理推荐系统，专为联网电视 (CTV) 内容发现而设计，可解决这些限制。我们的系统利用 大语言模型 的推理功能来自然地处理和合成不同模式和结构的不同信号，消除了传统排名和检索系统中固有的大部分手动集成。认识到当前基于 LLM 的解决方案在多个推荐任务（包括检索效率、个性化精度和可扩展性）方面仍低于传统机器学习模型，因此我们采用代理架构来编排专门的组件，允许每个子任务通过最合适的方法来处理，无论是基于 LLM 还是传统的 ML。这项工作的主要贡献是我们的工程方法成功克服了启用 LLM 进行推荐的实际限制，特别是推理延迟。我们分享工作中的见解，并讨论构建混合系统时的权衡和经验教训，该系统将 LLM 的灵活性与现有推荐技术的性能结合起来。