开源项目
Transformers贯通导出模型的加载、后端运行与融合图保存
Exporters: run exported models on their backend's runtime (`ModelRunner`)
概述
Transformers此前统一了导出制品的保存与加载,此次为每个组件注册后端runner,使ExportedModel可像原模型一样接收kwargs并重建原ModelOutput及缓存类型。from_pretrained可选设备和运行时选项,to可重建runner;ONNX静态导出支持固定缓冲CUDA Graph。多个组件组成的生成导出仍不能直接调用。配套PR50309加入OnnxConfig(ort_fusions="cpu"/"cuda"/"webgpu"/"dml"),导出阶段完成相应注意力、norm和投影融合,默认仍保留标准ONNX。融合算子依赖ORT实现,CUDA MoE图不能直接转CPU。作者披露Blackwell上已发布ORT CUDA包缺sm100内核的失败边界,不能把接口支持等同于该设备上已可运行。原有11/11保存加载事件保留,本条计次日实际runtime执行阶段。