开源项目

MixLLM:混合精度量化推理框架开源

microsoft/MixLLM

概述

MixLLM是微软发布的混合精度量化框架官方仓库,目标是在加速LLM推理的同时保持输出质量,为不同层选择合适的数值精度,面向需要降低推理成本的研究者与部署团队。工程采用MIT许可,提供混合精度内核、安装说明、量化复现流程及vLLM性能测试脚本,运行链路完整。复现者可以按仓库步骤完成量化并用测试脚本对比性能,评估在自己模型与硬件上的实际收益。