多义专家，单义路径：MoE中的路由即控制

摘要

LLM的残差流既是状态也是指令：它编码当前上下文并决定下一步变换。我们为混合专家（Mixture-of-Experts，MoE）模型引入一种无参数分解，将每层的隐藏状态拆分为因果性地驱动路由的控制信号，以及对路由器不可见的正交内容通道。在六个MoE架构上，我们发现模型将表层特征（语言、token同一性、位置）保存在内容通道中，而控制信号编码一种随层旋转的抽象函数。由于每次路由决策的带宽很低，这种交接迫使各层形成组合式的专门化。虽然单个专家仍是多义的，专家路径却变得单义，跨语言与表层形态按语义功能对token聚类。同一个token（例如":"）会依据其充当类型标注、引出冒号还是时间分隔符而走不同的轨迹。我们的分解定位了这一结构的来源：控制子空间中的簇远比完整表示中的簇更单义。因此，MoE中可解释性的自然单元不是专家，而是轨迹。

多义专家，单义路径：MoE中的路由即控制：论文配图 — 图 5：每维隐藏状态幅度 Ml,dhM^{h}_{l,d}（x 轴）与路由器权重幅度 Ml,dRM^{R}_{l,d}（y 轴），均采用对数尺度。一个点 = 第 ll 层中的一个隐藏的暗淡 dd。颜色代表层次。观察到强正相关性，表明路由器权重在表示已经具有最高量值的维度上最大。