稀疏专家混合中不连续性的几何和随机分析

稀疏专家混合 (SMoE) 架构现已广泛部署在最先进的语言和视觉模型中，其中条件路由允许扩展到非常大的网络。然而，这种支持条件路由的 Top-$k$ 专家选择也使得 SMoE 地图本质上是不连续的。在这些不连续表面附近，即使任意接近的输入也可能激活显着不同的专家组，从而导致显着不同的输出。在这项工作中，我们对这些不连续性进行了严格的几何和随机分析。我们首先按顺序对它们进行分类，顺序是由切换事件中并列专家的数量决定的。使用测度理论切片参数，我们对加厚的不连续面建立了渐近体积估计，表明低阶不连续集占主导地位，而高阶不连续集占据了非常小的相对体积。接下来，通过扩散过程对输入空间中的随机扰动进行建模，我们证明路径最终会遇到不连续性，而且第一次命中几乎肯定会发生在具有显式有限时间概率界限的 1 阶不连续性上。我们进一步推导了占用时间界限，该界限量化了随机路径在每个不连续阶的邻域中花费的持续时间。这些理论结果意味着输入更有可能位于低阶不连续点附近。受这种洞察力的启发，我们提出了一种简单的平滑机制，可以直接应用于现有的 SMoE，在不连续性附近柔和地纳入专家；我们的分析保证了增加的计算开销仍然很小，同时在不连续性附近提供局部平滑，并且跨语言和视觉任务的实验表明，平滑不仅增强了 SMoE 图的连续性，而且还增强了经验性能。