开源项目

SGLang:引入动态分块流水线并行

sgl-project/sglang

模型推理分布式推理

概述

SGLang是sgl-project维护的开源推理框架,采用Apache-2.0许可,提供运行参数与文档入口。本次正式版引入动态分块的流水线并行,并将多模态编码器与主干解耦,改变分布式推理系统的调度与结构组织方式。前者面向大规模部署下的吞吐与资源利用,后者便于多模态能力的独立维护与扩展,部署侧可按集群形态评估启用方式。