开源项目
TensorRT-LLM聚合Helix可向主机缓存挂起请求
Suspend to the host tier under aggregated Helix (#21455)
概述
TensorRT-LLM的聚合Helix此前仅有GPU热缓存,KV不足时主要依靠抢占与重计算。此次主线合入接受显式或自动大小的host tier:生成路径可逐出并挂起请求到主机内存,context路径先等待活跃decode释放页面,在没有可等待请求或主机层已满时用recompute-pause作为回退。自动host tier默认开启,设host_cache_size=0可保留此前GPU-only行为。磁盘层与KV connector仍被拒绝,分离式generation服务因为无法重放prefill,仍保留分配失败行为。来源明确说明一个尚未解决的边界:当主机层仍有空间且候选请求均已挂起时,回退可能选中页面已全部在主机上的请求,实际不能释放GPU页面。