分解大语言模型的基本能力：减轻多任务指令调优中的交叉任务干扰

最近，大语言模型（LLM）的突出性能很大程度上是由多任务指令调优驱动的。不幸的是，由于不同任务之间共享参数的梯度冲突，这种训练范式遇到了一个关键问题，称为跨任务干扰。以前的一些方法通过隔离特定于任务的参数来缓解这个问题，例如特定于任务的神经元选择和专家混合。在本文中，我们凭经验揭示，由于不同任务共享许多参数，现有解决方案仍然存在跨任务干扰，因此，我们提出了一种新颖的解决方案，即多任务指令调优的基本能力分解（BADIT）。具体来说，我们凭经验发现某些参数始终被共同激活，并且共同激活的参数自然地组织成基础组。这促使我们类比 LLM 编码了几种正交的基本能力，并且任何任务都可以表示为这些能力的线性组合。因此，我们提出 BADIT，将 LLM 参数分解为代表基本能力的正交高奇异值 LoRA 专家，并在训练期间通过 1 级组件的球形聚类动态强制其正交性。我们使用 6 LLM 在 SuperNI 基准上进行了广泛的实验，实证结果表明 BADIT 可以优于 SOTA 方法并减轻跨任务干扰的程度。