COMPASS：具有自适应语义采样的持续多语言 PEFT

大语言模型 (LLM) 经常表现出跨语言的性能差异，而天真的多语言 微调 经常由于负面的跨语言干扰而降低性能。为了解决这个问题，我们引入了 COMPASS（具有自适应语义采样的持续多语言 PEFT），这是一种新颖的以数据为中心的框架，用于使 LLM 适应目标语言。 COMPASS 通过在明智选择的辅助多语言数据子集上训练轻量级、特定于语言的适配器来利用参数高效的 微调 (PEFT)。我们方法的核心是分布感知采样策略，该策略使用多语言嵌入和聚类来识别现有训练数据和目标使用分布之间的语义差距。通过优先考虑来自代表性不足的语义簇的辅助数据，COMPASS 最大限度地提高了积极的跨语言迁移，同时最大限度地减少了干扰。我们将其扩展为持续学习框架 COMPASS-ECDA，该框架监视生产中的数据分布变化并动态更新适配器以防止模型过时，平衡对新数据的适应与现有知识的保存。在三种不同的模型架构（Phi-4-Mini、Llama-3.1-8B 和 Qwen2.5-7B）和多个具有挑战性的多语言基准（Global-MMLU、MMLU-ProX）中，包括未见过的长上下文任务（OneRuler），我们证明 COMPASS 始终优于以语言相似性为指导的基线方法，为在动态环境中开发和维护高性能多语言模型提供了有效、高效和可持续的解决方案。