开源项目

Transformers 5.18.0:扩展FSDP2专家并行网格与分布式执行

Release 5.18.0

AI 基础设施模型架构MoE分布式训练基础设施

概述

Transformers是模型加载、训练和推理框架。本次5.18.0新增Nemotron 3 Diarization、NemotronH Omni、HyperCLOVAX V2和GTE等适配;这是框架支持更新,各模型首次发布需另核日期。训练侧增加FSDP2与专家并行的二维DeviceMesh,并统一流水线并行与张量并行的设备网格。推理侧调整连续批处理暂停、缓存和注意力类型处理,补充GGUF MoE及Qwen3.8适配。可升级对应版本并按具体模型和设备选择配置;MPS FP8支持要求PyTorch至少2.15,不能把所有新增后端能力视为任何环境都可用。