论文

LoopFM：从基础模型的历史表示中学习以进行推荐

LoopFM: Learning frOm HistOrical RePresentations of Foundation Model for Recommendation

Shali Jiang; Hua Zheng; Boyang Liu; Laming Chen; Kenny Lov; Chuanqi Xu; Lisang Ding; Qinghai Zhou; Can Cui; Xiaolong Liu; Xiaoyi Liu; Yasmine Badr; Xin Xu; Jiyan Yang; Ellie Dingqiao Wen; Gerard Jonathan Mugisha Akkerhuis; Chenxiao Guan; Rong Jin; Ruichao Qiu; Xian Chen; Shifu Xu; Zhehui Zhou; Ping Chen; Rui Yang; Haicheng Chen; Xiangge Meng; Song Zhou; Dharak Kharod; Shuyu Xu; Qiang Jin; Qiao Yang; Wankun Zhu; Qin Huang; Yuzhen Huang; Darren Liu; Parish Aggarwal; Hui Zhou; Erzhuo Wang; Shuo Chang; Xiaorui Gan; Wenlin Chen; Santanu Kolay; Huayu Li来源日期：2026.05.28

模型优化蒸馏

摘要

知识蒸馏 (KD) 将单个标量预测从大型基础模型 (FM) 转移到紧凑的垂直模型 (VM)，但受到传输率递减（VM 捕获的 FM 改进的部分）的影响，因为单个标量无法传达较大 FM 学习的丰富中间知识。为了解决这个瓶颈，我们提出了 LoopFM（从 FM 的历史表示中学习），这是一个框架，通过将 FM 中间嵌入构造为下游 VM 的输入特征（例如用户历史序列）来打开高带宽传输通道，而不需要在服务时进行实时 FM 推理以及 FM 和 VM 之间的架构耦合。我们为 LoopFM 提供了一个理论框架，包括增益分解和传输比分析。在三个公共基准测试中，LoopFM 展示了强大的 AUC 改进（例如，在淘宝广告上提高了 6% 以上）以及与 KD 互补的知识转移能力。在工业规模系统（数十亿个示例、万亿参数 FM）上，LoopFM 大约使 KD 的知识转移率提高了一倍，首次推出后上半年的转化率提高了 +0.5%，而后半程的两次单独发布的转化率提高了 +1.03% 和 +1.22%。