论文

通过紧凑型 LLM 的监督式 微调 生成儿童英语阅读故事,难度可控且安全

Children's English Reading Story Generation via Supervised Fine-Tuning of Compact LLMs with Controllable Difficulty and Safety

模型训练监督微调与指令调优

摘要

大语言模型 (LLM) 广泛应用于教育实践,例如生成儿童故事。然而,生成的故事对于儿童来说通常太难阅读,而且 LLM 的运营成本阻碍了它们在教育环境中的广泛采用。我们利用现有的专家设计的儿童阅读课程及其相应的GPT-4o和Llama 3.3 70B生成的故事,为微调的三个8B参数LLM设计不同的实验,然后生成新的英语阅读故事并进行定量和定性评估。我们的方法优先考虑可控性而非规模,使教育工作者能够通过紧凑、经济实惠的模型来确定阅读水平和错误模式。我们的评估结果表明,通过适当的 微调 设计,8B LLM 生成的儿童英语阅读故事在难度相关指标上比零样本 GPT-4o 和 Llama 3.3 70B 生成的儿童英语阅读故事表现更好,几乎没有明显的安全问题。经过微调的LLM可以更广泛地被老师、家长和孩子在课堂和家庭中使用,生成孩子感兴趣、难度可控、安全的引人入胜的英语阅读故事。