SPRI：数据受限的 MoE 升级的 SVD 分区剩余初始化

专家混合 (MoE) 模型可以实现高效扩展，但从头开始训练它们仍然非常昂贵。 MoE 升级通过将预训练的密集模型转换为稀疏 MoE 模型来降低这一成本。然而，现有的升级方法通常依赖于大规模的持续训练，并且由于专家同质或对预训练参数的过度破坏性扰动，在数据受限的监督适应下往往表现不佳。在这种情况下，有效的升级必须利用预先训练的权重结构，同时在路由专家中引入足够的多样性。为此，我们提出了 SVD 分区残差初始化 (SPRI)，它将从预训练前馈网络 (FFN) 权重派生的 SVD 分区残差分布在路由专家之间，引入基于预训练谱结构的受控专家多样性。我们进一步引入两阶段训练策略来提高适应稳定性。我们在多语言语音到文本翻译方面评估了 SPRI，其中有限的监督数据挑战了 MoE 的升级，并且多种目标语言提供了自然的路由异构性。在 CoVoST2 上的 15 个 En-to-XX 方向上，SPRI 比完全微调的密集模型分别将平均 BLEU 和 COMET 提高了 2.58 点和 3.32 点，并且比之前最好的 MoE 升级基线提高了 3.39 BLEU 和 4.34 COMET 点。