大语言模型 适应低资源粘着语言：巴什基尔语 LoRA 和 QLoRA 的比较研究

本文对参数高效的 微调 (PEFT) 方法（包括 LoRA 和 QLoRA）进行了比较研究，应用于将 大语言模型 适应巴什基尔语（突厥语系的一种低资源粘着语言）的任务。使用各种架构的模型对包含 71k 文档（4690 万个标记）的巴什基尔文本语料库进行实验评估：DistilGPT2、GPT-2（base、medium）、Phi-2、Qwen2.5-7B、DeepSeek-7B 和 Mistral-7B。为了提高结果的可靠性，每种配置都使用三种不同的随机种子进行训练。具有完整 微调 (3.34) 的 GPT-2 介质在测试集上获得了最低的困惑度。与此同时，应用于 Mistral-7B (3.79) 和 Phi-2 (3.81) 的 QLoRA 达到了相当的质量，但可训练参数减少了 40 多倍。然而，我们还观察到在某些架构中使用 PEFT 时质量显着下降的情况（例如，等级 8 的 DeepSeek-7B，困惑度 = 129.55），这表明结果主要取决于基础模型及其分词器的选择。此外，对基于巴什基尔语提示的生成文本的定性分析表明，具有最佳困惑度的模型不一定会产生最连贯的输出：QLoRA 调整的模型生成单语巴什基尔语延续，而具有最低困惑度的完全微调模型经常切换为英语。结果表明，7B 规模模型上的 QLoRA 为巴什基尔语提供了质量和计算成本之间的有效折衷。为了确保可重复性，开放数据、代码和经过培训的适配器将在接受后发布。