开源项目

TensorRT-LLM候选版扩展稀疏KV分层管理并迁移请求接口

TensorRT-LLM v1.4.0rc0

模型推理KV Cache

概述

TensorRT-LLM面向NVIDIA GPU上的大模型推理。本次候选版本扩展稀疏KV分层锁定、卸载及GPU元数据管理,增加多模态KV事件和传输完成覆盖检查,避免尚未完整写入的块提前复用,并开始接入调度器抢占能力。还提供Mooncake存储池CLI、启动指标及请求级投机接受率等接口。相关功能按一个缓存与服务演进事件合并,不按模型适配或修复条数拆分。 版本含破坏性变化:移除Python KVCacheManagerV2,并将部分LlmRequest字段迁至Python,集成方须按该版本迁移。根许可为Apache 2.0,第三方部分保留各自许可。此为RC:H100上复用MPI worker池的TP2流式/RPC负载可能初始化挂起;SM120/121上的DeepSeek MLA在BF16 BMM与CUDA Graph组合下可能非法访存,须按官方已知问题评估适用性。