开源项目
vLLM修正流式输入会话恢复后的CPU缓存污染
Reset a resumed streaming session block table in OffloadingConnector
概述
vLLM的OffloadingConnector允许把GPU上的KV缓存卸载到CPU层,并在后续请求中复用。流式输入会话收到下一段输入后,调度器传入完整块表,旧实现却按增量块表追加,造成新缓存数据与缓存键错配。后续命中这些前缀的请求可能读到错误KV并产生循环输出。 主线改为显式标记完整块表,并在连接器中替换原表,保留仍然有效的已保存块计数。作者以三段输入会话和192-token前缀进行端到端对照,修正后贪心生成的32个token均与完整重算一致。SimpleCPUOffloadConnector也存在表重复问题,但其按块哈希索引,主要后果是漏卸载新块;本次不能概括为所有卸载路径均已完整修复。