经局部化梯度冲突解决的多语言微调

大型语言模型 (LLM) 的快速发展已将跨语言多功能性确立为现代系统的一个定义特征。然而，微调这些模型经常会引起跨语言的负面干扰。为了解决这个问题，我们将多语言微调重新表述为多目标优化（MOO）问题。具体来说，我们引入了 Bucket-Level MOO，这是一种可扩展的分布式框架，它在参数桶上本地应用基于梯度的 MOO 算法。这使得冲突感知更新成为可能，而无需重建完整梯度向量的高昂通信开销。从理论上讲，我们证明这种局部解决方案本身就强制执行精炼帕累托平稳性，这是帕累托最优性的严格必要条件。根据经验，桶级 MOO 通过驱动 LLM 构建不同的特定于语言的维度来减轻干扰，从而提高表征可分离性。四个基础大语言模型的广泛实验表明，与标准微调范例相比，我们的方法显着提高了可见和未见的多语言性能。