揭示多语言 MoE 模型中的语言路由隔离，以实现可解释的子网适应

专家混合 (MoE) 模型在不同语言之间表现出显着的性能差异，但造成这些差异的内部机制仍然知之甚少。在这项工作中，我们对 MoE 模型中的专家路由模式进行了系统分析，揭示了一种我们称之为语言路由隔离的现象，即高资源和低资源语言往往会激活很大程度上不相交的专家集。通过分层分析，我们进一步表明路由模式在模型深度上表现出分层的收敛-发散模式。基于这些发现，我们提出了 RISE（路由隔离引导子网增强），这是一个利用路由隔离来识别和适应特定语言的专家子网的框架。 RISE采用三方选择策略，使用特异性分数来识别浅层和深层的语言特定专家，使用重叠分数来选择中间层的通用专家。通过仅训练选定的子网络，同时冻结所有其他参数，RISE 显着提高了低资源语言的性能，同时保留了其他语言的功能。对 10 种语言的实验表明，RISE 实现了高达 10.85% 的目标语言 F1 增益，同时最小化跨语言降级。