Rec-Distill：将大型推荐模型效果迁移到轻量服务模型

大型推荐模型已经在缩放法则下展示了巨大的潜在收益，但这些收益在工业推荐系统中很难实现，因为现实世界的部署需要具有严格服务效率和延迟保证的轻量级模型。这在离线模型扩展和在线部署之间造成了根本性的差距。在这项工作中，我们提出了 Rec-Distill，这是一种工业 蒸馏 管道，它将大规模推荐建模的性能增益转移到高效的服务模型。 Rec-Distill 通过解耦训练、黑盒 蒸馏、去偏机制和动态推荐环境的批流混合流程，将大型教师扩展与学生模型的迁移优化相结合。在现实世界平台上的多个推荐和广告场景中，我们的框架将教师模型扩展至 24B 稠密参数和 20K 行为序列长度，同时使轻量级学生能够恢复大部分教师收益，蒸馏 在最佳设置下可迁移性超过 60%。广泛的线下和线上实验进一步表明，这些转移的收益在工业限制下始终转化为可衡量的业务改进。这些结果表明，Rec-Distill 提供了一个实用的框架，用于将大规模推荐模型提炼为可部署的、经济高效的服务系统，同时还为未来将推荐模型扩展到更大的体系建立了可行的路径。