技术实践

百度 Feed 用轻量决策模型为推荐候选打分,并共享用户侧缓存

模型推理应用与实践推理加速KV Cache判别式推理与决策结构化分析、预测与决策

概述

百度 Feed 团队在推荐打分任务中比较双向编码器、因果解码器和双塔模型,研究能否在利用用户和内容上下文的同时满足线上延迟约束。决策模型在一次前向后直接读出点击概率。因果解码器在候选预筛期间预先计算用户前缀,之后用前缀缓存为各候选增量打分。团队根据日志估算,共享前缀后的 Token 计算量约为原先的四分之一,此估算未计模型结构和参数量差异。低活用户子组的离线表现更突出,编码器已有小流量压测,团队仍在评估各路线的推全成本。