京东零售九数算法平台团队以 9N-LLM 训练生成式推荐模型 OxygenREC

京东零售九数算法平台团队发文介绍统一训练引擎 Oxygen 9N-LLM，支撑生成式推荐在主站APP推荐业务落地。传统推荐模型逼近特征工程上限，生成式推荐则带来万级行为序列、TB级样本、B级稠密参数的规模压力和「预训练-监督微调-强化学习」的复杂流程，TensorFlow 稀疏生态与 PyTorch 稠密生态也存在鸿沟。9N-LLM 整合双框架、统一适配 GPU/NPU：样本引擎基于 Ray Data，支持弹性扩缩容与断点续训，以 KV 系统动态拼接 Embedding 省存储；稀疏引擎以 HBM-MEM 分层缓存与五级流水线承载10TB级 Embedding 多机训练，官方称性能达开源SOTA的1.14–2.4倍；UniAttention 加速 SeqPack 等定制掩码，较 FlexAttention/Compile 提升70%/3.0倍；强化学习模块基于 Ray，以 SingleController 与 DistributeWorker 解耦，兼容 Collocated/Disaggregated 模式与 GRPO 类流程，支持定制采样与 Reward 服务。官方称 MFU 最高超40%，已支撑主站APP多个核心流量场；数字为厂商实测口径，未附独立对比或A/B结果。