论文
哪个洛拉？ LoRA 技术在多语言指令调优中有效性的实证研究
Which LoRA? An Empirical Study on the Effectiveness of LoRA Techniques During Multilingual Instruction Tuning
摘要
我们研究了常用的 LoRA 变体在多语言指令调优方面是否比基本 LoRA 具有优势。在不同目标语言的两个数据集上涉及 LoRA 和其他四种变体的实验表明，在平衡跨语言迁移和知识保留方面，使用更复杂的 LoRA 变体代替基本 LoRA 并没有显着优势。对隐藏嵌入的分析表明，在使用不同 LoRA 技术进行微调的 LLM 中，分层语言表示在很大程度上保持相似，这表明 LoRA 技术的架构新颖性可能不会转化为更好的跨语言适应。