开源项目

SGLang用SSD专家层运行超出主机内存的MoE模型

[Feat] paged-experts: a disk tier for experts that do not fit host memory

AI 基础设施模型架构模型优化MoE端侧模型模型部署推理服务

概述

SGLang此前要求全部路由专家放入锁页主机存储,超RAM模型无法启动。新增--paged-experts-host-memory-gb控制主机预算,--paged-experts-enable-disk把其余专家存入按层文件;GPU路由后读入LRU主机行并复制至GPU槽,捕获解码步骤可等待磁盘,超时则按支持路径恢复状态后重放。首次文件构建通过分块映射权重,避免先把全部专家装入RAM。当前仅x86-64,首次构建需额外保留8GiB磁盘,部分统一内存、ReplaySSM和在线压缩组合拒绝。作者在16GB RTX5070Ti、62GB RAM运行167GB DeepSeekV4 Flash,报告约13.8—14.1token/s及1.5K提示8.5秒TTFT;这组设置原先无法启动,不能比较为任意倍数加速。