论文

SCALE-LoRA:用残差合并与视图可靠性审计检索后LoRA组合

SCALE-LoRA: Auditing Post-Retrieval LoRA Composition with Residual Merging and View Reliability

模型优化模型合并

摘要

低秩适配(LoRA)适配器库正在成为参数高效适配的一种实用副产品。一旦这些适配器积累起来,一个自然的问题不再是“如何为一个任务训练一个适配器”,而是“在仅有小规模支持集的情况下,如何将开放的适配器池复用于新任务”。已有工作表明,LoRA模块可以在任务层面组合,并在实例层面动态选择。然而,开放池LoRA复用并非自动可行:检索到相关适配器并不保证其参数更新相互兼容,组合适配器也不保证输出可靠。我们提出稀疏组合一致性层(SCALE),一个面向开放池LoRA复用的检索后审计与组合框架。SCALE包含一条可部署的1.0*合并路径——层自适应稀疏残差组合(LASRC),以及一个成本更高的多视图分歧可靠性分析层。LASRC通过保留线性锚点、同时将逐块适配器更新方向残差化,来解决合并干扰问题。可靠性分析层将稀疏组合视图之间的分歧视为可观测的不确定性信号,并在显式路径成本下比较一致性、支持损失代理选择与oracle上限。在匹配的FLAN-T5-Large、BIG-Bench Hard(BBH)和97-LoRA实验中,LASRC在固定检索下给出方向性的单视图增益,而SCALE-support作为免查询标签的3.0*可靠性分析变体报告,而非作为经过校准或吞吐等效的选择器。协议不同的BBH-8验证在三个decoder-only骨干上显示出相同的定性趋势。详细的分数、成对审计和路径成本记录见实验部分。

SCALE-LoRA:用残差合并与视图可靠性审计检索后LoRA组合:论文配图
图 1:开放池 LoRA 重用中的检索后可靠性。先前的方法主要决定在密集组合之前检索哪些适配器以及如何对它们进行加权。 SCALE 将剩余的检索后问题分为两个瓶颈:合并干扰(其中相关适配器可能不兼容参数)和视图可靠性(其中几个看似合理的稀疏组合视图可能不一致)。 LASRC 通过锚保留残差组合解决了第一个瓶颈,而 SCALE 通过协议、支持损失代理选择和显式路径成本下的预言机余量来分析第二个瓶颈。