论文

通过带有扰动数据的 微调 提高 大语言模型 对于代码任务的鲁棒性

Improving the Robustness of Large Language Models for Code Tasks via Fine-tuning with Perturbed Data

模型训练监督微调与指令调优

摘要

背景:在软件开发的快节奏发展中,大语言模型 (LLM) 已成为代码生成、完成、分析和错误修复等任务不可或缺的工具。确保这些模型的稳健性,防止处理不同输入时出现的潜在漏洞,这一点至关重要,因为输入的变化可能会导致不正确或不安全的代码输出。目标:这项工作旨在提高 LLM 针对潜在对抗性输入的编码相关任务的鲁棒性。具体来说,我们研究了带有扰动数据集的 微调 LLM 如何影响其针对输入扰动的鲁棒性。方法:我们使用在字符级、单词级和句子级扰动的数据集,系统地评估了 微调 模型的 LLM 鲁棒性,并将结果与​​基本模型和在未扰动数据集上微调的模型进行比较。结果:带有扰动数据集的 微调 LLM 显着提高了模型的鲁棒性(RD 通常下降 4\% - 6\% 左右),特别是对于鲁棒性相对较弱的模型。然而,与未受干扰的数据集的 微调 相比,此 微调 过程通常会导致性能轻微下降(pass@1 通常下降约 1\% - 3\%),尽管偶尔会观察到性能改进。结论\&启示:用于具有扰动数据的编码任务的微调 LLM有效地增强了其鲁棒性,但代价是性能略有下降,强调了平衡LLM对于编码应用的鲁棒性和性能的重要性。