开源项目
SGLang以并行大页分配缩短大容量HiCache启动
Parallel THP-backed host pool allocation for HiCache
概述
SGLang的HiCache主机池原用共享匿名映射,单线程预触页后再锁页。主线新增SGLANG_HICACHE_HOST_PARALLEL_ALLOC_THREADS,正值启用私有匿名映射、多线程预触页和尽力透明大页。MADV_DONTFORK防止子进程继承后发生写时复制、破坏已注册的CUDA页身份。 作者在单节点四张B300、每rank约306GB池并发分配的完整启动测量中,32线程模式使最慢rank分配及锁页总计由185至189秒降至46秒,约省140秒。默认仍关闭,失败回退旧映射,显式hugetlb路径不变。fork而非spawn产生的子进程不能读取这段缓冲,误访问会失败;收益取决于内核大页策略、内存带宽与并发分配压力,不代表稳态生成同比例提速。