开源项目
TensorRT-LLM把GB300长上下文编码负载的计算、远程KV与准入优化接入主干
[None][feat] Qwen3.5 GB300 round 2: decode/prefill kernels, KVCM2 remote tier, disagg GEN admission - #21997
概述
TensorRT-LLM为NVIDIA设备提供模型推理与服务执行。TensorRT-LLM将Qwen3.5-397B NVFP4在GB300上的第二轮部署优化从参考实现移入主干,覆盖decode/prefill核、MTP、KV Cache Manager V2远程层、输出长度预测准入及延迟KV释放。关键路径按SM100/103、attention-DP和MNNVL布局门控,其他布局沿原路径。作者使用最长256K的多轮编码轨迹按相同参考配置回放,主要证明主干移植与参考部署的成本、吞吐和首字延迟基本一致;未将尚无测量的可选池化GEN调度计作已验证收益。 等价回放主要基于较早提交,最终头的后续内核与主干合并未重跑端到端;默认NIXL远程传输、默认ridge预测器及池化GEN分发仍未完成该组完整测量。