为开放网络构建用户基础模型

用户基础模型在电子商务和社交推荐方面表现出了强劲的成果，但大多数工业部署都假设用户身份稳定且持久的环境。开放网络实时竞价 (RTB) 在结构上不同的数据分布上运行：用户身份在浏览会话中是分散且非持久的，浏览历史记录的可用性取决于用户的隐私选择。因此，很大一部分流量不携带历史数据，并且可用记录通常由相对较短、脱节的会话组成。因此，该域中的历史信号通常表示为聚合计数器和新近度桶，从而使顺序结构未被利用。为了解决这个限制，我们提出了一个用户基础模型，该模型将自监督学习应用于用户浏览历史，并表明学习的表示改进了多个下游生产任务，证明了这种方法在开放网络上的可行性。我们使用掩码语言模型和序列级对比目标预训练 Transformer 编码器，然后在点击预测任务上对其进行微调。我们通过对可审查的代码级编辑（提升器）的策划目录进行 LLM 循环搜索来优化编码器的 预训练 管道，在工业环境中实例化 LLM 作为优化器范例。相同的编码器表示在生产投标获胜率模型上产生 +1.197% RIG，在生产 CTR 排名器上产生 +1.354% RIG； 7 天的实时 A/B 测试确认了 +2.13% CTR，-1.13% eCPC（80% CI 不包括这两个指标的零）。