无路由专家混合

标准专家混合 (MoE) 模型依赖于引入刚性归纳偏差的集中式路由机制。我们提出了 Routing-Free MoE，它消除了任何硬编码的集中式设计，包括外部路由器、Softmax、Top-K 和负载均衡，而是将所有激活功能封装在各个专家中，并通过连续梯度流直接优化，使每个专家能够完全自行确定其激活。我们引入了统一的自适应负载平衡框架，通过可配置的插值同时优化专家平衡和词元平衡目标，从而实现灵活且可定制的资源分配。大量实验表明，无路由 MoE 能够始终优于基线，具有更好的可扩展性和鲁棒性。我们详细分析其行为并提供可能有助于教育部未来设计广告优化的见解。