FreeBalance：基于残差工作负载预测的路由前MoE在线负载均衡

负载不均衡是MoE模型分布式推理中专家并行效率的主要瓶颈。负载最重的rank因路由分布偏斜而阻塞全局执行，直接增加延迟。虽然离线专家放置可以缓解持续性不均衡，但实际多任务服务的工作负载呈现层相关和批次相关的路由动态，使在线负载均衡不可或缺。现有方法依赖在每个MoE路由器之后收集的路由统计，专家权重加载或迁移只能在路由决策可用之后才开始，从而把迁移开销置于推理关键路径上。在本工作中，我们观察到，如果能够提前准确预测路由分布，在线均衡可以在目标路由（如注意力）之前的计算期间与之大幅重叠。因此，我们提出FreeBalance，一个无损的在线负载均衡框架，通过残差工作负载预测使专家迁移与前置计算阶段重叠。FreeBalance利用残差网络中隐表示的跨层相似性构建轻量工作负载预测器。这使专家迁移规划能够在路由决策可用之前主动进行，在权重传输与计算密集的路由前阶段之间创造大量重叠。此外，一个成本模型约束交换次数，将同步开销完全隐藏在可用窗口内。跨模型与数据集的实验表明，FreeBalance将最大与平均rank负载比降低32.8%，端到端prefill延迟降低13.1%。具体而言，该方法平均每层隐藏5.1个专家的均衡开销，否则这些开销约占关键路径延迟的8.5%。