NVIDIA发布NCCL Extensions：分布式AI负载的GPU通信模式库

NCCL Extensions是NVIDIA发布的GPU通信模式库：在NCCL设备与主机API之上，为AI场景提供优化的通信模式——加速MoE token分发、专家并行等特殊负载的张量通信。仓库做大规模分布式训练的团队，特别是使用混合专家模型需要频繁all-to-all通信的场景，可评估其对训练吞吐的提升；需NCCL版本兼容。