EAT：用于高效MoE推理的专家计数追踪器

专家混合 (MoE) 模型已成为扩展 Transformer 模型的革命性方法。然而，传统的 MoE 架构仍然存在效率低下的问题，因为大量专家被不必要地激活。现有的减少激活专家数量的方法常常忽视每个专家的历史表现。在本文中，我们提出了 EAT，一种称为专家帐户跟踪器（EAT）的新颖方法，它利用历史感知指标和自适应阈值来动态选择最重要的专家，从而在有效保持模型性能的同时减少激活的专家数量。实验表明，EAT 在多个模型和数据集上优于现有基线 Top-P 方法，与普通方法相比，激活专家的数量平均减少了 25% 以上，并且与基线相比，具有更好的词元生成速度。此外，仅使用 9K 数据即可通过 OPD 有效恢复剪枝模型的性能。此外，通过消融研究，我们发现过度减少激活专家的数量会显着损害模​​型性能，并且专家的重要性在不同层次上有所不同，较高级别的专家通常更为关键。