度量MoE专门化的几何指标：从Fisher信息到早期故障检测

专家专门化是混合专家（MoE）模型成功的根本，但现有指标（余弦相似度、路由熵）缺乏理论依据，且在重参数化下会给出不一致的结论。我们提出一个信息几何框架，首次对MoE专门化动态给出严格刻画。我们的核心洞见是：专家路由分布在被赋予Fisher信息度量的概率单纯形上演化，从而可通过黎曼几何进行形式化分析。我们证明标准启发式指标违反参数化不变性（定理1），确立专门化对应于带量化近似界的测地流（定理2），并推导出具有理论阈值依据的故障预测器（定理3）。该框架引入两个有原则的指标：Fisher专门化指数（FSI），与下游性能的相关性达r=0.91+/-0.02；Fisher异质性得分（FHS），在训练完成10%时即可预测训练失败，AUC=0.89+/-0.03——比基于验证损失的早停高出23%，同时所需计算周期减少40倍。我们验证了干预协议在检测到FHS>1时可达87%的恢复率。覆盖语言建模（WikiText-103、C4）、视觉MoE（ImageNet）以及扩展研究（8-64个专家、125M-2.7B参数）的全面实验验证了我们的理论预测。