快速生成技术报告

生成检索已成为工业搜索、推荐和广告系统越来越多采用的范例，带来了显着的在线收益。大多数现有工作将用户行为序列与 大语言模型 (LLM) 相结合来对用户偏好进行建模。在实践中，特征工程对于模型有效性仍然至关重要，但其复杂性会减慢离线迭代速度，并使在线部署变得繁重且难以重用，所有这些都在紧张的在线延迟预算下进行。根本原因是特征处理逻辑和模型架构之间的紧密耦合，其中每个特征更改都会涉及训练和服务代码，并阻碍跨场景的重用。为了打破这种耦合，我们提出了 Prompt Generation (PG)，这是一个高级分词器和配置驱动的框架，它通过两个声明性 JSON 文件将特征处理逻辑与模型架构解耦，作为离线训练和在线服务的单一事实来源，确保两个阶段的特征一致性。 PG 将四种类型的特征组织成三种可组合的处理组件来组装和压缩异构特征，从而提供三个级别的加速：（1）快速训练迭代：特征实验只需要更改配置，内置超长序列的词元压缩； (2)快速部署：新的场景只需符合PG schema并插入通用管道，无需针对特定场景进行工程； (3)快速在线推理：引擎对标准化配置进行统一优化，将PG的开销降低到可以忽略不计的水平。 PG 已部署在淘宝搜索上，在线 A/B 交易数提升了 0.47%，GMV 提升了 0.51%，并已在多个淘宝搜索和推荐团队中应用，作为生成检索的迭代框架。