开源项目
SGLang 用统一 Mooncake L3 缓存键跨并行拓扑复用 KV
[Feat] UnifiedL3: support mooncake storage backend
概述
此前传给 Mooncake 的默认键带有 rank 后缀,KV 读写与部署并行形态绑定。新增后端让 Mooncake 用 UnifiedL3 约定组织对象。贡献者用 Qwen3-30B-A3B 和 8 张 B200 在 TP2、TP1×PP2 两种设置间相互写入和读取,用同配置冷加载的 GSM8K 与 teacher-forced KL 对照。该机制已经在主干交付,用于不同并行部署间的缓存迁移和命中验证。