开源项目
DeepGEMM Ascend首发:在昇腾950上支持BF16、FP8和FP4算子
DeepGEMM Ascend initial release
概述
DeepGEMM Ascend将DeepGEMM移植到华为昇腾,面向训练和推理中的矩阵计算,保持公开API兼容并使用相同包名。首发支持BF16、FP8、FP4 GEMM、MQA logits和MegaMoE,以轻量抽象封装MAD矩阵乘加原语、分形布局、对齐及地址计算,并采用稀疏数据加载和协程流水线等昇腾优化。代码在昇腾950系列开发验证,需要CANN 9.20、torch_npu、Python至少3.10以及支持C++20的编译器,部分算子依赖TileLang。需递归获取子模块,再执行开发脚本或从源码安装。厂商测试展示部分矩阵形状接近硬件峰值,其精度、矩阵维度及冷L2等测试条件限制结论范围,并非整模型吞吐承诺;其他代际硬件需另行验证。