LittleLearner：教学控制知识暴露下的语言模型

现代语言模型是在异构网络规模文本语料库上进行训练的。因此，学习知识和技能获取很困难，因为很难描述之前接触过的相关内容。为了应对这一挑战，我们引入了 LITTLECURRICULUM，这是一个针对美国小学材料量身定制的精心策划的 88B 词元预训练语料库，明确排除了 5 年级以上教授的概念、事实和词汇。在 LITTLECURRICULUM 上从头开始训练 5B 参数 LLM 产生了 LITTLELEARNER，这是一个具有足够语言能力进行开放式评估的模型，但具有映射到的清晰知识和能力边界可解释的课程指南。我们发布 LITTLECURRICULUM 和 LITTLELEARNER 作为开发受限的沙箱，用于研究模型如何在明确定义的训练范围下获取、表示和使用数据。我们在第一套通过 后训练 和上下文学习注入新知识的实验中说明了沙箱的实用性。这些方法让 LITTLELEARNER 更好地利用现有知识，但不会提升超出范围的能力。我们的研究结果强调了这种受控环境对于未来调查的价值。