论文

SMART:LLM-动态产品广告的增强混合检索

SMART: LLM-Augmented Hybrid Retrieval for Dynamic Product Ads

AI 基础设施模型网关

摘要

动态产品广告 (DPA) 需要从数百万个产品目录中检索相关商品,平衡两个相互竞争的目标:重定向(重新显示已知兴趣)和探索(发现新类别)。虽然 大语言模型 (LLM) 比传统嵌入模型更好地捕获语义意图,但大规模部署它们会带来过高的推理成本和词汇不匹配问题。通过对数百万用户的受控实验,我们演示了关键的检索分解:规则生成的查询擅长在词法 BM25 索引上进行重定向,而 LLM 生成的查询擅长在密集的 ANN 索引上进行勘探。在此基础上,我们提出了 SMART(语义感知自适应检索)。为了管理成本,轻量级质量门可识别初始关键字结果中的覆盖范围差距,自适应地将仅从语义勘探中受益的大约 10% 的用户路由到 LLM 路径。离线评估表明,这种门控方法捕获了相关性分数中的大部分语义勘探收益,同时保持有竞争力的重新定位性能,LLM 成本降低了 90%。最后,在 Snap 为期 2 周的在线 A/B 测试中,SMART 将广告转化率比基于嵌入的强大基准提高了 27.6%。