开源项目
SGLang允许外部KV缓存插件独立接入
Support out-of-tree external linkers
概述
SGLang统一缓存此前新增外部存储后端时,需要在框架中增加选择分支。本次主线允许按类名和Python模块路径显式加载独立安装的UnifiedCacheLinker子类,前端校验配置,只在拥有缓存的工作进程内导入插件。 SGLang继续负责前缀匹配、请求准入、GPU槽位与树锁,插件负责外部存储、KV传输及完成回报。变化提供独立扩展机制,未实现运行时热插拔,也未扩大统一缓存原有模型支持范围。PR引用的sglang-fs-linker 0.1.0早于当前构造和层完成契约,需要适配后才能使用;本条不把该旧包作为当前主线已可直接运行的示例。