WHALE：融合 Wukong 与 HSTU 的可扩展推荐架构

随着可扩展性在推荐建模中变得越来越重要，最近的架构已经推进了沿着不同路径的两个广泛的排名信号源的建模：非序列特征，包括用户、项目、上下文和交叉特征；以及来自用户行为历史的序列特征。 Wukong 和 HSTU 已成为这些路径的代表性可扩展骨干：Wukong 扩展高阶非序列特征交互建模，而 HSTU 扩展长用户行为序列建模。尽管它们具有互补的优势，但结合这两种类型的特征建模的实用架构仍未得到充分探索。我们提出了 WHALE，一种可扩展的统一推荐架构，它在 Wukong 和 HSTU 之上联合建模非序列和序列特征。每个 WHALE 层包含一个 Wukong 模块、一个 HSTU 模块和一个基于注意力的融合模块，其中 Wukong 派生的交互表示查询 HSTU 派生的行为表示。这种设计使两个主干在整个网络中保持活跃，并实现渐进式 Wukong-HSTU 交换，允许高阶特征交叉从长期用户历史中重复检索细粒度证据。为了使 WHALE 适用于工业部署，我们引入了定制的 Triton 内核和其他模型系统协同设计技术，以提高训练和推理效率。在大规模行业推荐数据上，WHALE在离线实验中取得了一致的收益。此外，它还通过适度的服务吞吐量权衡提供了积极的在线收益。该方法已部署在生产系统中。总体而言，WHALE 提供了一个实际示例，说明如何在工业推荐模型中可扩展地统一这两种信息源。