美团搜索将LLM语义表征注入精排模型

针对服务零售品类长尾、商品描述非结构化、Query 意图复杂导致传统文本匹配特征失效（如「宠物 SPA+洗澡」对「萌宠清洁护理套餐」）的问题，团队在商家精排引入 LLM 语义表征：选小参数量开源基座做全参数微调，在词表新增 <|query|>、<|item|>、<|qi|> 三个特殊 Token 作聚合锚点，用 Attention Mask 在同一条序列上做三次独立 forward 实现 Query 与 item 信息隔离，取最后一层特殊 Token 位置 hidden state 经两层 MLP 降至 64 维；用近两个月 3000 余万条精排样本（下单:点击未下单:未点击=1:3:6）以 cosine 相似度二分类 Loss 与融合侧点击率 Loss 联合训练；离线全量推理 Query/POI Embedding 存 Hive 按天增量更新，线上计算 cosine 相似度后按 9 个边界划分 10 个分桶，每桶配一个 12 维可学习 Embedding 拼入精排特征。离线点击 NDCG +9bp、下单 NDCG +13bp；线上 2025-09-18 至 10-01、20% 流量 14 天、AA 校验通过，大盘搜索支付订单显著 +0.20%，服务零售订单显著 +0.27%，长尾 NDCG@5 显著 +2.21pp，长尾 BadCase@1 显著 -2.96pp。 二期针对一期四个短板（缺商品语义、全参微调成本高、点击率分类目标不全面、三次 Forward Pass 效率低）做系统性重构：训练样本从单条扩为 Query、Deal 正样本、POI 正样本、Deal 难负样本、POI 难负样本五元组共 2766 万条，难负样本取「同请求同商家/同请求曝光未点击」以保证只在用户选择上有差异；Prompt 实验得出反直觉结论——精简信息陈述+总结引导优于复杂任务指令，引入 CPV 商品属性反而使排序评估下降（信息质量比信息量更重要）；基座从 0.5B～8B 横评后选定面向文本表征优化的 Embedding 模型变体，微调从全参改为 LoRA（r=8、α=32，目标 q_proj 与 v_proj）；表征提取改为独立序列 + 可学习向量（nn.Parameter）置于序列末尾，一次 forward 处理五路输入；降维改用 MRL-E 嵌套维度 [1024,512,256,128]，推理截取前 128 维；损失从 BCE 二分类改为 Query↔POI、Query↔Deal、POI↔Deal 三组 InfoNCE 加针对难负样本的 Triplet Loss（欧氏距离，margin=0.5）。离线：相比一期 Q2I-Click-AUC +6.25pp、Q2I-Order-AUC +5.37pp、Click-NDCG +1.77pp、Order-NDCG +2.03pp；引入 Triplet 后 Click-AUC +4.85pp、Order-AUC +11.02pp。线上 2026-03-17 至 03-23、20% 流量 7 天、AA 校验通过：搜索大盘搜索 UV 显著 +0.07%，有效点击 QV 显著 +0.13%，服务零售结果页有效 QV_CTR 显著 +0.10pp（+0.15%），TP90 仅 +0.2ms。 三期把二期成熟的商家精排表征迁移到此前语义建模几乎为零的下挂商品精排，并同步补齐全域交叉统计特征。迁移的第一道关卡是覆盖率：直接复用二期样本圈选的 Query Embedding 时，Query 覆盖率仅 81.24%、Query+Deal 双覆盖率仅 73.61%（因商家精排 Query 偏商家意图词、下挂精排偏商品意图词），改用下挂精排样本分布重新圈选后 Query 覆盖率升至 98.92%、双覆盖率达 89.81%。前置验证把 Query-Deal cosine 等距分为 100 桶，各 label（成单、货架成单、点击、全域成单）均值随 cosine 单调上升；随后设计等样本量、按下挂成单/货架成单等差的 5 种分桶策略，Droprank 重要性分析显示 V1 综合最高（第 21 位），V2/V3/V4 分别排第 40/164/129 位。注入方式对比 4 种方案后采用 PEPNet 门控（离线 ctcvr_auc_global_poi +25bp，优于底层拼接的 +18bp 与输出塔前注入的 +8bp）。另补充 user×deal id、POI cate3、user×POI cate3、query×deal id 四类交叉统计特征，并移除覆盖率低于 0.1% 的订单转化特征。线上 2026-05-28 至 06-03、10% 流量 7 天、AA 校验通过：服务零售业务订单显著 +0.32%，服务零售访购率显著 +0.29%，搜索大盘支付订单显著 +0.35%，大盘访购率显著 +0.25%。