CD-LoRA：一致性驱动的多任务低秩适应 微调

虽然多任务学习 (MTL) 对于使 大语言模型 (LLM) 适应不同领域至关重要，但流行的基于 LoRA 的方法依赖于划分任务特定知识的复杂路由机制。在这项工作中，我们揭示了这种基于路由的设计很容易出现训练推理差异，其中分布变化下的随机路由决策会损害推理稳定性。在二阶泰勒分析的驱动下，暴露了路由方差引起的不稳定性，我们挑战训练推理差异，并提出一致性驱动的低秩适应（CD-LoRA）。通过完全消除路由器，CD-LoRA 采用一致性驱动的对齐机制来强制共享低秩空间中任务之间的表示一致性。这种范例培养了健壮的、与任务无关的功能，而无需显式的分区开销。大量实验表明，CD-LoRA 的性能始终优于最先进的多适配器基线，为多任务 PEFT 提供更简单、无需路由器且更稳定的解决方案。该代码可在匿名链接 https://github.com/zhaqian21/CD-LoRA 上获取。