开源项目

Megatron Core 0.19.2 更新低精度训练与流水线支持

NVIDIA/Megatron-LM

模型训练预训练

概述

Megatron Core 是大模型分布式训练组件,处理并行训练、通信和低精度计算。 Megatron Core 0.19.2升级TransformerEngine并增加FP4训练流水重叠支持。