开源项目

SGLang隔离分离式扩散服务中的畸形消息

Isolate malformed request and result messages

AI 基础设施推理服务

概述

在SGLang分离式扩散服务中,单个工作节点发回畸形张量结果,曾可能使入口路由循环退出,其他无关请求也随之停滞。主线在消息边界只解码一次:可识别所属请求的错误返回给该请求,无法识别的坏帧记录后丢弃,并防止重复ID替换仍在处理的请求。工作节点报错时同时回收接收槽位和调度容量。 作者在2张H200的GLM-Image部署中,通过ZMQ中继破坏一个真实输出张量。旧实现下4个并发请求均超时;修正后只有被破坏请求返回错误,其余3个和后续恢复请求完成。该机制处理畸形消息和解码错误,工作节点宕机、入口重启和持久任务恢复仍属其他能力;内部传输要求可信网络。