EPnG：参数高效 MoE 的自适应专家修剪和增长 微调

专家混合 (MoE) 模型可有效扩展，但由于冗余的专家和统一的参数分配，适应成本仍然很高。现有的参数高效 微调 (PEFT) 方法（例如 LoRA）忽略 MoE 路由动态，导致资源使用不理想。我们提出了 EPnG，这是一种自适应修剪和增长框架，可根据从路由器门概率得出的专家重要性重新分配 LoRA 容量。 EPnG 通过正交初始化的秩增长来修剪未充分利用的专家并扩展高重要性的专家，同时保持固定的参数预算。在 OLMoE 和 Qwen1.5-MoE 中，EPnG 在相同预算下始终优于 LoRA，并实现与完整 微调 相当的性能，同时仅更新 0.55%-0.72% 的参数（最多减少 140x-180x）。这些结果表明，将 PEFT 与 MoE 路由结合起来可以产生更有效且可扩展的 微调 策略。