LLM 检索以获得稳定且可预测的广告推荐

传统的广告推荐系统主要侧重于使用召回率或标准化折扣累积增益 (NDCG) 等规范指标来优化点击或转化事件的预测准确性。随着生成式人工智能技术的广告库存和流动性的高速增长，预测的稳定性和可预测性变得越来越重要。直观地说，可以定义预测稳定性和可预测性来量化系统相对于较小/噪音输入（广告、创意）扰动的鲁棒性，缺乏这些扰动可能会导致广告商可感知的问题，例如可重复性、冷启动和探索不足。在本文中，我们介绍了一种用于量化广告推荐系统的稳定性和可预测性的新评估框架，并提出了一种由微调的 大语言模型 (LLM) 提供支持的在线验证语义候选生成框架，该框架通过从根本上提高系统的语义意识，在这些指标上显示出显着的改进。该方法从广告创意中提取分层语义属性，以获得 LLM 表示，作为基于图的扩展的基础，确保检索到的候选者封装广告的语义变体，保证广告商的小创意变体向用户产生一致且可解释的交付结果。我们在大型工业广告推荐系统中测试了这个 LLM 广告检索框架，展示了离线和在线 A/B 实验的显着改进，展示了可预测性和传统性能指标的收益。尽管在广告堆栈中进行了评估，但这是一个通用框架，可以广泛应用于面临类似扩展和可预测性挑战的任何大规模推荐和检索系统。