电子商务搜索中文档扩展的直接偏好优化的查询生成

Doc2Query是一种流行的文档扩展技术，利用序列到序列模型生成相关查询，有效解决信息检索中的“词汇不匹配”问题。然而，这些模型经常会产生与文档无关的幻觉或文档中已经存在的重复内容。 训练序列到序列模型生成高质量、新颖且相关的token仍然是一个重大挑战。为了解决这些问题，我们引入了一种新颖的方法 QGDPO，它采用直接偏好优化（DPO）来指导生成过程。我们首先使用微调一个基本的序列到序列模型，然后利用相关性模型对其预测进行评分。根据这些分数，我们构建成对的获胜和失败预测作为 DPO 训练的相关性偏好。此外，我们通过使用相关性模型过滤掉不良预测来增强我们的管道，仅保留最相关的生成内容进行索引。与 Doc2Query 基线相比，QGDPO 有效消除了 50% 的不相关预测，而相关性过滤器则额外消除了 14.61%。该功能已成功部署到 Walmart.com 的生产环境中，获得完整流量，相关性和用户参与度显着提高。