如何对一次性 MoE 专家剪枝的专家进行评分：统一的制定和选择原则

专家混合 (MoE) 语言模型通过稀疏专家激活减少每个词元的计算，但部署仍然需要存储完整的专家池，这使得一次性专家剪枝成为减少内存使用的实用方法。尽管有效，但现有标准在很大程度上是启发式的，并且没有一个标准是普遍最佳的。因此，建立一种选择适合不同部署目标的剪枝标准的原则仍然是一次性专家剪枝中一个重要但很大程度上尚未得到充分研究的问题。为此，我们引入了一种围绕三个因素组织的一次性 MoE 专家剪枝的统一公式：路由频率、门权重和激活强度。该公式产生了一个标准选择原则：与任务无关的修剪应该有利于路由词元平均、基于无门激活的标准，而特定于任务的修剪可以从保留路由频率和门权重信息中受益。除了这一原则之外，该公式还提供了现有启发式标准的系统视图，并提出了两个与任务无关的新标准：均值激活范数 (MAN) 和均方激活范数 (MSAN)。在四个具有代表性的 MoE 模型和 16 个不同的基准测试中，MAN 和 MSAN 在与任务无关的设置中始终表现强劲，获得平均排名前两名，并将平均性能比最强基线提高高达 8.8 个百分点。