MoEITS：用于简化 MoE 的绿色 AI 方法-LLM

大语言模型正在改变学术界和工业界的所有领域，吸引了研究人员、专业人士和公众的关注。在寻求更强大架构的过程中，受到集成模型的启发，专家混合已成为最有效的方法之一。然而，这意味着训练和推理的计算负担很高。为了减少对计算和内存占用以及能源消耗的影响，简化方法已经成为非常有效的程序。在本文中，提出了一种用于 MoE-LLM 简化的原始算法 MoEITS。该算法的特点是极其简单，并以标准化信息理论框架为基础。 MoEITS从理论和实践的角度进行了深入分析。研究了其计算复杂度。它在简化的 LLM 的准确性和所实现的减少率方面的性能是通过彻底设计的实验来评估的。该实证评估包括与 Mixtral $8\times7$B、Qwen1.5-2.7B 和 DeepSeek-V2-Lite 上应用的最先进的 MoE-LLM 修剪方法进行比较。进行的广泛实验表明，MoEITS 生成的模型在所有基准测试中均有效且计算效率高，因此性能优于最先进的技术。实现该方法的代码可在 https://github.com/luisbalru/MoEITS 上找到。