论文

电子商务的生成检索:联合学习具有相同产品集群的嵌入和码本

Generative Retrieval for E-commerce: Jointly Learning Embedding and Codebook with Same Product Cluster

应用与实践行业应用

摘要

随着大语言模型(LLM)的发展,生成检索在电子商务场景中变得越来越重要。目前的主流方法通常使用两阶段训练策略:首先训练产品嵌入模型,然后学习将嵌入映射到产品 ID 的密码本。这种级联方法存在两个主要问题:(1)错误积累——如果第一阶段的嵌入模型产生有偏差的表示,第二阶段的码本无法纠正这些错误,从而降低最终的检索性能; (2)密码本学习仅依赖于产品嵌入,缺乏查询到产品和产品到产品交互的建模。因此,属于同一簇的产品可能会被码本分配不一致的 ID,从而进一步损害检索准确性。为了解决这些问题,我们提出了一种新颖的方法,联合训练嵌入模型和码本,并将相同的产品集群信息合并为额外的监督信号。实验结果表明,我们的方法显着提高了电子商务检索性能,同时增强了嵌入和码本学习。