开源项目
Megatron Core 0.19.0:改进MoE路由、HybridModel与量化加载
NVIDIA/Megatron-LM
概述
NVIDIA Megatron-LM是面向大规模模型训练的开源工程,Megatron Core提供模型、并行和训练组件。Core 0.19.0新增基于分位数估计的MoE路由偏置,实现无辅助损失的负载均衡;扩展共享专家融合、打包序列分派和路由分析工具。HybridModel支持直接加载GPTModel检查点,并加入MLA等支持;GPTModel已宣布弃用。性能侧增加CUDA Graph兼容的激活卸载和流式量化检查点加载,避免为整个模型一次性分配BF16临时空间。版本还推进推理拆分和前缀缓存感知路由;MFSDP v2仍在开发,不能视作已完成能力。已有训练栈升级时应核对模型类迁移、并行后端兼容性及发行说明中的已知稳定性问题。