用于受控文本生成的噪声引导：提高阿拉伯语教育故事生成的多样性和阅读水平保真度

为阿拉伯语早期阅读评估生成多样化的、在教学上有效的故事需要在词汇量、阅读水平和叙事结构的严格限制与避免破坏评估有效性的重复情节的需要之间取得平衡。我们研究噪声控制，在推理时将校准的高斯扰动注入到 Transformer 模型的内部表示中，作为在五个以阿拉伯语为中心的小型语言模型（7-9B 参数）上评估的 无需训练 多样性方法。我们将四种注入策略与高温采样基线进行比较，测量多样性、质量、约束遵守情况和阅读等级水平。残余流噪声始终以最小的质量或约束成本提高叙事多样性，并在所有以阿拉伯语为中心的模型中保持早期阅读水平。注意力熵噪声注入 (AENI) 稳定了原本不可靠的注意力 logits 噪声，同时恢复了质量。高温采样会导致阅读等级水平升高，并导致多个型号的灾难性崩溃。我们发现，对于受限的教育内容生成，内部表征水平扰动是比输出水平随机性更合适的多样性策略。