开源项目

TensorRT-LLM 为 SSD KV 缓存加入异步读写、恢复副本复用与后台写穿

[None][feat] KVCacheManagerV2: 3 SSD offloading optimizations

模型推理AI 基础设施推理加速KV Cache推理服务

概述

TensorRT-LLM 是模型推理与部署框架。本次围绕长会话的 SSD KV 缓存形成一组协同机制:异步 I/O 线程池把磁盘操作移出 CUDA 主机回调,以分块和读优先调度降低必需恢复的等待;恢复后保留已完整提交、不可变的磁盘副本,后续逐出可复用,部分页仍必须重写;写穿则在有空闲 SSD 槽时提前写入主机层缓存。 三项默认关闭,要求启用 KV Cache V2 磁盘层。线程池为进程共享,首次非零配置决定线程数;后台写穿仅利用空槽,不主动逐出其他磁盘页,并限制全进程后台在途约 1 GiB。主机页在写入完成前保留,失败副本不得复用;此实现使用缓冲 I/O,不是 O_DIRECT。 作者在 8 个 GB300 节点、GLM5.3、4P4D、800 个会话的四小时编程轨迹中报告约 18.7→28.2 请求/秒、TTFT p90 约 342.6→3.8 秒,TPOT 约 14—15 毫秒。该测量早于最后的队列与在途上限修订,且每组仅一次、SSD 未填满,不能归因为某一个开关或外推一般生产收益。最终相关单元测试报告 90 通过、51 跳过;本条将三个选项作为同一分层缓存机制,不按配置项拆数。