美团以MTGenRec支撑多场景生成推荐训练

针对生成式推荐模型 Scaling Dense 趋势下业界倾向基于 PyTorch 生态构建下一代推荐训练引擎、但 PyTorch 生态对大规模稀疏 Embedding 训练支持不足的问题，美团提出 MTGenRec 训练框架，统一「稀疏-稠密」训练能力。针对稀疏 ID 用动态 Hashtable 替换静态表，解决 ID 动态上下线问题并方便使用；为提升训练效率提出自动合表、ID 去重、变长序列负载均衡等面向推荐场景的优化；另配套断点续训、混合精度训练、梯度累积、算子融合等技术。实验显示相比 TorchRec baseline 取得 1.6 倍~2.4 倍训练加速比且训练精度不变，从 8 卡扩展到 128 卡取得近似线性扩展效率。目前 MTGenRec 已在美团内部多个核心场景落地使用。