论文
UniGD:面向工业检索的统一生成判别框架
UniGD: A Unified Generative-Discriminative Framework for Industrial Retrieval
摘要
生成式检索(GR)是工业搜索广告的一个有希望的范例,但其部署受到严格的相关性和延迟要求的约束。现有的系统将GR与独立的查询相关性模型相结合,解耦生成器似然目标和查询相关的区别,这在有效性上和增加服务成本方面都造成了妥协。我们提出了一种统一的生成-判别框架(UniGD),该框架将检索和相关性评分整合到单个模型中。为了缓解联合优化中的梯度干扰,UniGD引入了冲突感知梯度增强(CAGE)来适应性地协调两个目标。UniGD进一步设计了一个代码本锚定表示模块(CAM),它将物品表示锚定到从多模态预训练模型中冻结的层次化代码本上,从而赋予它们丰富的和可推广的语义先验。对于异构的短视频、产品和直播广告,UniGD提出了异构广告材料建模(HAM),该模型在共享骨干上捕捉跨类型的语义共性,同时保留类型特定的建模能力。在线A/B测试表明,UniGD通过Kuaishou搜索广告平台提高了广告收入5.78%,减少了推理延迟33%,并改善了判别性的相关性估计。在NQ320K和MS300K上,UniGDRecall@10相对最强复现GR基线分别提高8.44%和3.19%。
