开源项目
PyTorch FSDP2支持非首维不均匀分片,恢复复杂MoE训练配置
[FSDP2] Uneven nonzero-dimension sharding (#203465)
概述
PyTorch的FSDP2负责把参数和梯度分布到训练设备。此次主线改动让fully_shard接受Shard(i>0)的不均匀分片,包括短分片和空分片。参数、还原后的完整参数和梯度保持紧凑连续,只在all-gather及reduce-scatter的通信缓冲区补齐与去除填充。来源复现指出,torchtitan的DeepSeek-V3 16B在TP=8、EP=8及较大dp_shard下曾因该限制抛出NotImplementedError。当前交付为Python路径修复,并不包括另一个堆栈PR的原生内核加速;实验native reduce-scatter拷贝路径仍会明确拒绝不均匀梯度,旧式单参数all-gather扩展也不能直接使用。