TensorRT-LLM把稀疏注意力KV历史卸载到主机内存

TensorRT-LLM为分离式服务的decode-only worker加入稀疏KV卸载。DSA的MLA latent历史及DeepSeek-V4的ratio-4压缩历史放入锁页主机内存，每步按索引选择取入请求自己的GPU工作集；索引缓存和滑动窗口缓存仍留GPU。配置可设GPU工作集倍数和host_history_size，主机历史与其他KV host cache合计须满足内存及锁页限制。仅支持单beam、无投机解码、无流水线并行，且不能同时启用KV压缩、CP Helix或草稿KV。作者在8张GB300、相同32K提示和160输出token设置下测得DeepSeek-V4 Flash峰值解码吞吐增33.7%，GLM-5.2增至2.82倍；这些是特定PD拓扑、权重与KV格式结果，不是任意模型保证。