无标签跨任务 LoRA 合并与零空间压缩

模型合并结合了独立微调的检查点，无需联合多任务训练。在基础模型时代，低秩自适应（LoRA）的微调非常流行，使得LoRA合并成为一个有希望的目标。现有方法可以在所有目标任务都是分类的同质环境中工作，但当任务跨越分类和回归时通常会失败。使用基于熵的代理的方法不适用于回归，并且由于词元序列较长，对于 大语言模型 来说成本高昂。我们引入了空空间压缩（NSC）合并，这是一种无标签、与输出无关的方法，可根据适配器几何形状设置合并权重。我们的主要观察结果是，在 LoRA 微调期间，$ΔW = BA$ 中的下投影因子 $A$ 压缩了其零空间，并且压缩与性能相关。 NSC 将此用作合并的优化信号，可以泛化到分类、回归和序列生成。 NSC 在 20 个异构视觉任务中实现了最先进的性能，并在先前的方法过度拟合任务子集的情况下获得了平衡的增益。它还优于六个 NLI 基准以及 VQA 和图像字幕的视觉语言评估的基线，展示了可扩展性和有效性。