面向更优LoRA合并的进化式负模块剪枝

摘要

将多个Low-Rank Adaptation（LoRA）专家合并进单一主干，是实现高效多任务部署的一条有前景的途径。尽管现有方法致力于通过权重插值或子空间对齐来减轻干扰，它们都隐含地假设所有LoRA矩阵对合并模型都有建设性贡献。本文揭示了当前合并范式中的一个关键瓶颈：负模块（negative modules）的存在——即在合并时固有地降低全局性能的特定LoRA层。我们提出Evolutionary Negative Module Pruning（ENMP），一种即插即用的LoRA剪枝方法，在合并前定位并剔除这些有害模块。通过利用进化搜索策略，ENMP能够有效导航模块选择这一离散、不可微的解空间，找出最优剪枝配置。大量评估表明，ENMP持续提升现有合并算法的性能，在语言与视觉两个领域都创下新的最先进水平。代码发布于 https://github.com/CaoAnda/ENMP-LoRAMerging。

面向更优LoRA合并的进化式负模块剪枝：论文配图 — 图 3：拟议框架概述。上半部分说明了基于进化策略（例如，CMA-ES）的优化循环。潜在变量 {𝐳i}\{\mathbf{z}_{i}\} 从演化高斯分布 𝒩⁡(μ(g),(σ(g))2𝐂(g))\mathcal{N}(\mu^{(g)},(\sigma^{(g)})^{2}\mathbf{C}^{(g)}) 中采样并转换通过映射和整形操作转换为二进制修剪掩码。下半部分详细介绍了剪枝和合并过程：剪枝掩码 𝐦\mathbf{m} 应用于 LoRA 适配器以剪枝负模块。剩余的适配器使用现有的合并方法（例如，TIES、DARE）进行聚合，以形成最终的合并模型。评估性能用于迭代更新分布参数。