MoE免训练剪枝：区分专家移除与被裁专家输出的替代规则

免训练专家剪枝涉及两个决策：移除哪些专家，以及路由仍选择被移除专家时该层应计算什么。既有方法常同时改变二者。我们固定掩码，用配对且经多重比较校正的检验，在OLMoE、DeepSeek-V2-Lite和Moonlight上比较三类替代算子，并加入Granite作为第四种路由器。最大影响来自通常未明说的选择：幸存专家门控权重的尺度。在训练时不使用top-k重新归一化的路由器上，对幸存门控重新归一化这一常见做法，会损失0.8–8.5个百分点，还会逆转重路由与MoNE均值输出替代的优劣；对训练时使用归一化的两种路由器，在50%剪枝时，保留训练尺度更好。我们提出tilted novice：对被裁专家输入施加闭式低秩映射，其秩0情形就是MoNE常量。在50%剪枝下，它增加1.2%–1.8%参数，相比常量替代在OLMoE和Moonlight上提高3.45与1.37个百分点；跨校准抽样稳定，4bit与3bit量化后也基本不变。没有算子全面占优：训练尺度重路由在DeepSeek-V2-Lite最好，在两个模型上部分复制每个被裁专家与tilted novice统计上不可区分。评价设置也会改变结论：25%剪枝时，MoNE常量保留稠密模型多选题准确率的92%–97%，却只保留GSM8K分数的5%–65%、代码分数的0%–17%；改变校准域带来的掩码变化，是重新抽样的4–9倍。我们提出五项报告清单。