Meta以定制注意力和五维并行扩展广告推荐模型训练

Meta把广告推荐基础模型GEM扩展到数千张新一代GPU，用于Instagram和Facebook推荐。它为推荐任务设计JFA、GDPA和Block Attention计算核，在注意力与MLP中使用MXFP8，并按网络拓扑组织五维并行。稠密部分结合二维FSDP和专家并行，稀疏部分采用完全分片的二维模型并行，同时优化通信。来源披露过去十二个月训练计算量扩大四倍，端到端训练效率约翻倍，MFU达到20%—25%。这是该推荐训练配置的工程表现，文章并未证明相同比例的广告收益改善。