开源项目

Megatron-LM:Core 0.16.0升级训练机制

NVIDIA/Megatron-LM

模型训练预训练

概述

Megatron-LM是NVIDIA开源的大模型训练框架,面向大规模训练场景的工程与研究团队。本次Core 0.16.0正式版新增优化器状态卸载、MTP独立流水阶段和路由重放机制,分别触及训练的内存管理、流水线调度和确定性路由,属于训练系统层面的实质变化。项目以Apache许可发布,安装与使用材料齐全,相关团队可升级版本并按自身训练配置评估收益。