FLeX：用于多语言传输的基于傅里叶的低秩扩展

在多种编程语言共存的企业环境中，跨语言代码生成至关重要。然而，每种语言单独的 微调 大语言模型 (LLM) 在计算上是令人望而却步的。本文研究了参数高效的 微调 方法和优化器增强功能是否可以改善从 Python 到 Java 等语言的跨语言迁移。我们使用低秩适应 (LoRA) 微调 Code Llama 7B 模型来优化一小部分参数，并比较 Adam 和 Sophia 优化器，同时探索一种新颖的基于傅立叶的正则化技术。我们的贡献包括：(1) 证明 LoRA 微调 在小型高质量数据集 (MBPP) 上可以超过更广泛微调的 Code Llama-Python-7B 模型的 pass@1 性能（40.1% 与 38.4%）； (2) 表明虽然 Sophia 比 Adam 实现了更快的收敛，但最终 pass@1 分数显示出边际差异； (3) 提供证据表明，微调 期间基于傅里叶的正则化显着改善了跨语言迁移，在 Java 任务上实现了 42.1% pass@1，而基线为 34.2%。这些发现表明，结合 LoRA、优化的训练方法和频域正则化可以有效地适应单语言 LLM，使其在多种编程语言中表现良好。