论文

MetaStrategy:使用可执行 LLM 策略进行生成排名

MetaStrategy: Generative Ranking with Executable LLM Strategies

模型训练强化学习

摘要

工业推荐系统根据耦合的用户、业务、商业和体验目标对异构内容进行排名。现有的生成排序方法通常直接构建项目序列,这使得它们很难与成熟的预测模型、操作规则和字段级护栏集成。我们提出了 MetaStrategy,一个可以生成结构化、可执行排名策略的框架。根据请求上下文,大语言模型 (LLM) 策略会发出类型化 JSON 包,控制目标权重、内容和类别首选项、体验约束和位置策略。确定性验证器和编译器实例化一个隔离的生成器,该生成器与生成器-评估器 (GE) 架构的列表级评估器下的现有生成器进行原子竞争。我们在生产路径重放环境中训练策略,该环境通过当前的重新排名堆栈重新执行记录的请求,而无需用户暴露。该方法结合了选择、相对排名和基线提升奖励、一种自我竞争课程(将频繁的策略反馈为竞争对手)以及评估者路由的奖励增强 同策略 蒸馏(将互补的 4B 参数教师转换为紧凑的 0.8B 参数学生)。我们通过diff触发的近线生成在淘宝首页猜你喜欢部署MetaStrategy; LLM 推理仍处于同步排名之外,响应时间 (RT) 没有明显增加。在为期 7 天的用户随机在线 A/B 测试中,MetaStrategy 赢得了 27.93% 的治疗方 GE 通话,并显着提高了点击页面浏览量(点击 PV)2.11%、项目详细信息页面浏览量(IPV)提高 3.12%、交易金额提高 2.83%。