论文
优点:减轻用户兴趣倾向建模生成 XMC 中的暴露偏差
MERIT: Mitigating Exposure Bias in Generative XMC for User-Interest Propensity Modeling
摘要
将用户与兴趣类别大规模匹配是个性化购物的核心,但在大型电子商务平台中,这项任务具有挑战性,因为标签空间不断发展,用户兴趣信号稀疏且长尾。自回归语言模型很有吸引力,因为它们的世界知识和描述符的语义先验可以泛化到极端的标签空间并适应多个有效的标签分配。然而,在教师强制的 微调 下,推理时间预测成为条件环境的一部分:早期错误将后来的输出引向同时出现的标签,过度生成近相关项并丢失不相关的真实兴趣。我们提出了 MERIT,一个用户兴趣倾向建模框架,通过自我修正目标减轻这种暴露偏差。在标准和挖掘的硬负标签的混洗混合物上的排列不变的多目标损失使生成器暴露于错误的前缀,同时保留了教师强制训练的效率。该训练目标将监督集中在分类位置,产生倾向一致的隐藏状态,为双向检索(用户的兴趣和用户的兴趣)提供轻量级评分器。在包含 25 万多个兴趣类别的专有电子商务数据集上,MERIT 将全球召回率提高了至少 11.9%,平均 Hit@k 提高了 6.1%。在生产 A/B 测试中,它的用户转化率提高了 0.26%。