论文
PEEP与DCEP按专家群体结构剪枝MoE语言模型
Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models
摘要
稀疏MoE机制显着改善了模型容量和推理效率之间的权衡。然而，实际部署仍然需要存储所有专家，从而导致大量的内存开销。我们表明，MoE 层中的专家输出表现出结构化冗余。在不同的模型和任务类别中，专家输出的稳定秩和熵有效秩始终远低于标称专家数量，而专家输出分布也表现出较少的有效模式。受这些观察的启发，我们将专家剪枝重新表述为保留结构的专家子集选择问题，并通过贪婪策略对其进行有效优化，而不是仅对单个专家进行独立评分和排名或对专家组合进行详尽搜索。我们在统一结构保持框架下提出了两种专家剪枝方法：投影能量专家剪枝（PEEP），通过最大化加权投影能量来保留功能子空间；以及分布覆盖专家剪枝（DCEP），通过最小化加权覆盖误差来保留分布几何。这两种方法都将路由器派生的权重作为先验，使它们能够共同保留专家之间的全局结构关系，同时考虑到个别专家的局部重要性。 DeepSeek-V2-Lite 和 Qwen3-30B-A3B 上的实验表明，在专家保留率分别为 75% 和 50% 的情况下，我们的方法在大多数基准测试中都优于最先进的基线，并且在一般任务和数学推理任务中始终实现最佳平均性能。
