稀疏专家混合中共享路由几何和动力学的证据

稀疏专家混合（MoE）模型在每个稀疏层使用独立参数化的路由器来为每个词元选择专家。先前的工作表明，跨深度的路由决策通常可以从早期的路由信号中预测出来，这表明跨层路由并不完全独立。然而，这种可预测性背后的结构仍不清楚。在这项工作中，我们提供的证据表明，跨层的路由相关状态共享一个公共的几何结构，该结构被特定于层的坐标系所掩盖。我们隔离每个路由器的控制子空间，并使用广义正交 Procrustes 分析将这些空间对齐到共享规范表示中。对齐后，单个线性转换达到 $R^2=0.39$--$0.71$ 并保留单独拟合的特定层动态的 79--90% 的预测能力，表明大部分路由状态演化遵循跨深度的可重用过程。然后，我们询问这种共享动态是否特定于路由，或者只是反映了隐藏表示的平滑演化。匹配排名比较表明，残差表示通常更容易跨层预测，而路由器控制状态更忠实地保留模型的专家选择。这将通用跨层可预测性与特定于路由的信息分开。最后，我们测试预测的规范状态在代替本机路由状态时是否仍然有意义。传输状态保留本地路由行为，而学习状态演化相对于简单持久性在 OLMoE 上减少了 $Δ\mathrm{NLL}$ 15.7\%，在 Phi 上在 10 个路由器范围内减少了 6.2\%。