开源项目

SGLang:新增LoRA加载计算重叠

sgl-project/sglang

模型推理推理加速

概述

SGLang是面向大模型推理服务的开源框架,服务推理系统的部署与优化团队。0.5.9版本新增LoRA加载与计算的重叠执行,使适配器加载与计算并行推进,结合专家通信机制的改进,本次变化触及推理执行系统的组织方式,超出单一适配的范围。项目采用Apache-2.0许可,README提供运行说明链接,部署方可按常规路径升级并观察适配器场景的表现变化。