论文

Gumbel Machine:经由Gumbel噪声引导的反事实学生写作生成

Gumbel Machine: Counterfactual Student Writing Generation via Gumbel Noise Steering

模型推理解码与生成控制

摘要

跨学科教学中一种有效的方法是提供高质量作品的范例。然而,范例可能与学生当前的作品相差很大,使其难以模仿。理想的学习示范是学生作品的反事实版本,即一个与学生自己的作品仍然相似、但有所改进的版本。现有使用大语言模型(LLM)的反事实文本生成自动化方法往往产出领域专用系统,难以转化为实际应用。我们提出Gumbel Machine,一种灵活、模块化的反事实生成方法,既利用LLM的指令遵循能力,又促使生成结果与参考事实文本保持相似。我们方法的核心是一种新颖的受控解码算法$β$-Hindsight control,它在反事实生成过程中将潜在随机性用作可调节的相似度控制机制。在学生写作数据集上、按多种标准打分的实验证明,我们的方法能够有效生成既符合评分量规又与参考文本相似的反事实文本。

Gumbel Machine:经由Gumbel噪声引导的反事实学生写作生成:论文配图
图 1:反事实学生写作生成概述。我们的方法产生了学生作业的修订版本,改进了特定的评分标准,同时保持与原始版本相似。