开源项目Megatron-LM:Core 0.16.0升级训练机制NVIDIA/Megatron-LMNVIDIA·来源日期:2026.02.25模型训练预训练收藏概述Megatron-LM是NVIDIA开源的大模型训练框架,面向大规模训练场景的工程与研究团队。本次Core 0.16.0正式版新增优化器状态卸载、MTP独立流水阶段和路由重放机制,分别触及训练的内存管理、流水线调度和确定性路由,属于训练系统层面的实质变化。项目以Apache许可发布,安装与使用材料齐全,相关团队可升级版本并按自身训练配置评估收益。