论文

LLM4AIGQ:基于 LLM 的多兴趣挖掘人工智能指导查询生成框架

LLM4AIGQ: LLM-based AI Guidance Query Generation Framework for Multi Interest Mining

模型训练奖励建模与过程监督

摘要

引导查询通过提取偏好来刺激用户消费,为搜索查询提供引导价值,在电子商务领域发挥着至关重要的作用。传统的人工智能生成查询(AIGQ)生成主要依赖于两阶段的“查询到人工智能生成的查询”(Q2AIGQ)关联范式,首先通过多路径检索从用户配置文件、历史行为序列、项目侧信息和当前查询中召回用户主要搜索查询,然后通过基于规则的方法概括AIGQ。这种方法由于信息级联丢失而遭受语义漂移;此外,初级搜索查询的推导严重依赖于“用户-项目”的共现关系,缺乏对用户多重兴趣的探索,导致引导查询价值低、购买意图不匹配。为了解决传统的基于共现的检索的表达局限性,我们提出了 LLM4AIGQ,这是一种基于 LLM 的解决方案,用于生成针对用户的多重兴趣定制的 AI 指导查询。该方法通过整合用户档案和历史交互序列来细分用户兴趣,推断每个子兴趣的具体消费意图,并随后生成相应的AIGQ。就模型训练而言,我们采用了由监督微调(SFT)、强化学习(RL)和直接偏好优化(DPO)组成的后训练管道来增强模型生成AIGQ的能力。我们还引入了多级奖励设计,以满足实际应用中多目标优化和长链推理的要求。在部署方面,我们采用近线生成和在线读取的架构来满足延迟限制。大量的实验分析表明,我们的模型在离线评估和在线 A/B 测试中都实现了稳健的性能。