开源项目
SGLang支持量化扩散模型叠加多个动态LoRA
diffusion: Support multiple dynamic LoRA adapters
概述
SGLang扩散接口原本接受LoRA列表,但不合并的动态模式每个目标只允许一个适配器,导致量化模型以及Turbo加风格LoRA等组合无法运行。本次在既有单适配器计算基础上分别应用各自rank、alpha和强度,再累加更新,覆盖普通、lossless和FLUX.3融合末端路径;运行时、/v1/set_lora及DiffGenerator均可使用。auto模式对整条组合评估BF16合并的舍入损失,ComfyUI加载器暴露auto、dynamic和merge。同一链需使用相同模式。当前版本没有采用额外复制因子的堆叠GEMM优化,避免额外显存和混合dtype代价。来源报告H200单元测试,最终逐适配器实现的完整H3端到端重跑尚待补充,因此不声称已经证实旧优化版本的加速。