开源项目

SGLang回收已取消扩散请求遗留的共享内存结果

Reclaim abandoned shared-memory replies

AI 基础设施推理服务

概述

SGLang扩散服务将较大的本地RPC结果写入/dev/shm,原先仅由接收客户端删除。如果客户端已超时或取消,调度器稍后写出的结果没有接收方清理,重复请求会积累文件并耗尽共享内存。 主线为每个同步或异步RPC建立私有目录,在清理前原子性地停用目录,阻止迟到生产方继续创建文件;不可用或写入失败时保留内联传输回退。作者以H200上的Wan2.1视频生成验证,旧实现一次取消留下约37MiB文件,修正后没有残留,成功生成的同配置帧数组一致。取消等待不等于中止已执行的GPU计算,进程被强制终止也无法保证运行清理代码。