开源项目
vLLM修正双批次重叠执行中的专家路由记录覆盖
Keep routed-expert rows of every DBO microbatch
概述
vLLM在启用双批次重叠执行(DBO)并返回专家路由信息时,多个微批次此前均从结果数组第0行写入,造成后写入数据覆盖其他微批次。主线复用已有的微批次token偏移,将每次写入定位到对应结果区间。 作者在DeepSeek-V2-Lite、2张H200、数据并行与专家并行配置下,对32个请求逐token比较路由记录。修正前与关闭DBO的参考运行一致率为0%,修正后为89.4%,参考运行自身重跑为88%—91%。这些数据用于说明覆盖问题消除,不能把非100%一致直接解读为仍有同类错误,也不代表生成质量提高。