EMO：Ai2发布的模块化混合专家语言模型

EMO是Ai2开放的混合专家语言模型，约14B总参数、每词元约1B激活参数。预训练限制同一文档的词元共享候选专家池，使数学、代码等任务形成可组合的专家组。 部署时可以按任务保留专家子集，而不必加载完整专家池。研究分别测量保留25%与12.5%专家的表现；这里的比例指保留的专家数量，不是每个词元的激活参数比例。模型、基线与训练代码开放，供研究任务化部署与模型存储开销。