淘宝闪购以RankMixer扩展商品精排模型

淘宝闪购团队把碎片化的 DLRM 堆叠（EPNet、多层 PLE、Task Specific Net、Task Bias Net、ResFlow Tower）替换为统一的 Token-Based RankMixer 主干：保留 Embedding 与 Sequence，将序列与非序列表示 concat 后切成 Token，经多层 RankMixer（Token Mixer + PerToken FFN）后接 MMCN 三个独立 Task Tower 预测 CTR、Item CTCVR、Shop CTCVR。 围绕该主线做了负采样、多任务、序列层、Tokenization、层数、FFN、Sparse MoE、Tower 输入与 Tower 结构的系统消融：全量负样本 + Loss 加权优于 0.1 随机负采样（AUC 约 +0.1%）。GradNorm 使 CTR AUC +0.7%（训练 GFLOPs 约翻倍）。 Pad-Split 与 Group-wise 差异在万分位而实现更简单。4 层 RankMixer AUC +0.21%、6 层边际下降。SwiGLU D→4/3D 与 AFFN v2 分别为零成本和有预算时的优选。Sparse MoE 在 16 Token 设定下未超过 Dense。Flat Concat 优于 Pooling，MMCN 为收益最明显的 Tower（AUC +0.32%）。 三期上线：一期 2026-04-09（85M→107M，GFLOPs 2.82→2.26，CTCVR AUC +0.6%，页面侧直引导访购率 +0.97%、人均净 G +1.14%）。二期 2026-05-07（16×320 Token + GradNorm，吞吐量 80→90，CTR AUC +0.7%）。 三期 2026-05-21（107M→243M，CTCVR AUC +0.37%，页面侧直引导访购率 +0.44%）。243M 版本同时上线超抢手业务，CTCVR AUC +0.66%、CTR AUC +1.6%、页面侧直引导访购率 +1.09%。