RotMoLE：通过旋转门控机制增强低秩专家的混合

虽然 大语言模型 (LLM) 在应用于垂直应用程序之前通常会进行微调以处理特定于领域的任务，但使其适应具有不同专业知识的复杂场景仍然具有挑战性。同时，专家混合（MoE）架构已成为训练LLM的重要范例，最近的一些工作还将MoE纳入参数高效微调（PEFT）中，提出低秩专家混合（MoE-LoRA），以增强低秩适配器学习复杂知识的能力。然而，MoE 中的传统门控机制通常仅对选定的专家进行标量重新权衡，从而限制了其潜在的表示和泛化能力。在 MoE-LoRA 中低秩结构的推动和支持下，我们提出了 RotMoLE，这是一种专门针对低秩专家的 MoE 框架，具有额外的旋转门。除了简单的扩展之外，RotMoLE 还为每个选定的专家实现了轮换机制，从而实现了卓越的专家开发和专业化，以学习不同的数据，尤其是在专家候选人有限的情况下。复杂的多任务和多语言训练场景的实证结果验证了我们的有效性。