论文
MTFM 以异构Token统一多场景推荐建模
MTFM: A Scalable and Alignment-free Foundation Model for Industrial Recommendation in Meituan
摘要
工业推荐系统通常涉及多个场景，而现有跨域推荐（CDR）和多场景推荐（MSR）方法往往资源开销高，并要求严格对齐输入，限制了扩展能力。我们提出基于Transformer的美团推荐基座模型MTFM。MTFM无需预先对齐输入，而是将跨域数据转换为异构Token，以免对齐的方式获取多场景知识。为提高效率，我们首先引入多场景用户级样本聚合，减少总样本实例数量，显著提升训练吞吐量；随后结合分组查询注意力（GQA）及定制的混合目标注意力，降低显存占用和计算复杂度。系统层还采用算子融合、消除CPU与GPU之间的阻塞等优化，进一步提高训练和推理吞吐量。离线及线上实验验证了MTFM的有效性：扩大模型容量与多场景训练数据规模，可带来显著性能改善。