开源项目
Humming:量化推理JIT编译GEMM内核库
vllm-project/humming
概述
Humming是专为量化推理设计的JIT编译GEMM内核库,主打高性能、轻量与高灵活性:支持8bit以下任意权重类型,配合FP16、BF16、FP8、FP4、INT8、INT4等多种激活精度推理,覆盖多种量化方案。项目2月11日创建,采用Apache-2.0许可,隶属vllm-project组织,README提供安装说明与HummingLayer运行示例。做低比特量化部署的团队,可将其接入推理栈,在自有模型上对比内核性能与精度表现。