论文

SWIM:通过熟练程度生成的学生写作模拟

SWIM: Student Writing Simulation via Proficiency-Conditioned Generation

模型训练强化学习

摘要

写作能力体现在学生如何发展内容、组织想法、选择词语和使用语言。尽管人们对基于 LLM 的学生模拟越来越感兴趣,但 LLM 是否可以在扩展写作中重现这种多维变化仍然很大程度上尚未被探索。在这项工作中,我们探索语言模型是否可以真实地模拟学生写作,并介绍 SWIM,这是一项将学生写作模拟制定为以熟练程度为条件的论文生成的任务。我们使用自动论文评分作为个人资料对齐的衡量标准,评估用于写作模拟的提示、监督 微调 (SFT) 和强化学习 (RL) 方法。大量实验表明,即使对于具有基于规则的策略的强大专有 LLM,提示也只能提供有限的熟练度控制。特别是,虽然模型可以调整以内容为导向的特征,但它们很难重现不同熟练程度的词汇、语法和组织差异。 SFT 极大地提高了一致性,而 RL 与提议的熟练程度一致性奖励则在所有写作特征和论文提示上产生了进一步的收益。我们的研究结果表明,与单独提示相比,明确的监督能够实现更强的个人资料一致性,而真实的低熟练度写作仍然难以复制。