开源项目
SGLang 允许多台推理服务共同分片共享 Engram 表,减少重复内存
[Perf] dsv41: Share Engram tables across servers with replication group_shards
概述
SGLang 为 DeepSeek-V4.1 Engram 表增加 replication: group_shards 配置。原先每个服务各保存一份大表,即使同一节点部署多个小规模预填充服务也重复占用 DRAM 或 HBM。新方案在同一 NVLink 域内跨服务分片,可选择 GPU 内存或相应 NUMA 主机内存,通过共享目录发布分配句柄和就绪标志,查询直接读取相应分片。目录必须每次部署为空,组大小一致;组内任一服务重启需要协调重启整组。它减少不可变表的重复副本,代价是更强的部署与故障耦合。