论文

LoRA微调模型在控制系统课程问答中的应用:模型规模与秩效应的多维评估

LoRA Fine-Tuned Models for Control Systems Course Q\&A: A Multidimensional Evaluation of Model Scale and Rank Effects

模型训练参数高效训练

摘要

大语言模型(LLMs)正被越来越多地应用于专业大学课程,但控制系统问题需要协调的术语、符号、推导过程和分步解释。直接的通用型回答可能结构不一致且难以验证。基于线性控制系统课程的习题和参考解答,我们构建了一个包含360组系统-用户-助教对话的监督微调数据集。我们对Qwen2.5-3B-Instruct和Qwen2.5-7B-Instruct模型应用LoRA技术,测试了秩r=4、8和16的参数设置。在相同的数据划分、推理设置和评估协议下,对比了基线模型与微调模型,并使用ROUGE、BERTScore以及结构化输出特征来衡量参考答案的相似性与"解-方法-教学要点"格式的稳定性。结果表明,LoRA在两种模型规模上均提升了相似性和输出格式稳定性。在当前测试集上,7B-r16模型在ROUGE-L(0.4093)和BERTScore-F1(0.8643)上表现最优,而r=8在性能与参数效率之间取得了更佳平衡。Bootstrap重采样显示,3B-r16和7B-r16在ROUGE-L上的提升分别为0.0764 [0.0613, 0.0915]和0.0874 [0.0687, 0.1042],置信区间均高于零,表明在当前测试集上文本相似性提升具有统计显著性。这些结果表明,LoRA能更紧密地使开源指令微调模型契合课程参考答案的语言表达和教学组织方式。然而,这些指标主要反映文本相似性和格式一致性,无法评估领域特定的推理或数学正确性,后者仍需专家评估和任务特定的评分标准。

LoRA微调模型在控制系统课程问答中的应用:模型规模与秩效应的多维评估:论文配图
图1:整体研究流程。