梯度空间中的路由：平衡使用不是专家专业化

稀疏专家模型可以均匀地分配流量，同时仍将不兼容的训练信号分组到同一专家中。我们将路由作为梯度划分问题进行研究，并引入梯度对齐路由（GAR），其负载归一化路由器目标奖励具有对齐梯度的分组观察。在五种多任务文本分类混合中，我们将 GAR 与仅任务损失路由、梯度组合和梯度冲突方法以及负载平衡损失进行比较。凭借完全可训练的 RoBERTa 主干和分类头专家，GAR 具有最高的聚合验证准确性，比仅任务丢失路由高出 1.07 个百分点。凭借冻结的 DeBERTa 和 Qwen3-1.7B 主干和低秩适配器专家，它再次排名第一，比仅任务丢失路由高出 1.10 个点，具有更好平衡的专家负载和更高的梯度质量纯度（每个专家在其主导任务中的梯度范数质量的份额）；负载平衡损失进一步压平负载，但使这种纯度接近其仅任务损失的水平。 Top-1 路由、可训练的全参数前馈网络 (FFN) 专家和更大的主干网也显示出积极的总体收益。结果将专家负载平衡与基于梯度的路由组织区分开来，并表明梯度通知路由在多任务文本分类中的预测价值。