SAMoRA：LoRA 专家的语义感知组合，用于任务自适应学习

混合专家（MoE）和低秩适应（LoRA）的结合显示出增强 大语言模型 多任务学习能力的巨大潜力。然而，现有方法面临两个主要挑战：（1）当前MoE-LoRA方法中的不精确路由无法明确地将输入语义与专家能力匹配，导致专家专业化较弱。 (2)统一权重融合策略难以提供自适应更新优势，忽视了不同任务的不同复杂性。为了解决这些限制，我们提出了 SAMoRA（LoRA 专家的语义感知混合），这是一种专为任务自适应学习量身定制的新型参数高效 微调 框架。具体来说，提出了语义感知路由器，以将文本语义与最合适的专家明确对齐，以实现精确路由。任务自适应扩展机制旨在根据特定任务要求动态调节专家贡献。此外，还提出了一个新的正则化目标，以共同促进专家专业化和有效扩展。对多个多任务基准的大量实验表明，SAMoRA 显着优于最先进的方法，并具有出色的任务泛化能力。代码可在 https://github.com/boyan-code/SAMoRA 获取