开源项目
vLLM 将多模态编码缓存扩展到文件系统并支持重启复用
[EC Connector] Add ECTieringConnector filesystem tiering for encoder cache
概述
ECTieringConnector 为视觉等输入的编码结果提供 CPU 和持久化文件两级缓存。调度器在排队时预取并在准入时重试准备,重启后可回用已经落盘的编码。作者用单 H800 运行 Qwen3-VL-8B-Instruct,缓存工作集约 22.4 GiB,CPU 缓存 8 GiB、文件层 128 GiB。在其复放请求中平均首 token 时延降低 34.41%,吞吐提高 25.84%。已合入主干。