Beetle：用于第二语言处理建模的双语模型套件

双语语言模型 (LM) 提供了一个受控环境，用于研究训练条件如何塑造第二语言 (L2) 行为，但之前的工作通常会同时改变暴露结构、规模和架构，因此很难将影响归因于任何单一因素。我们引入了 Beetle，一种受控语言模型预训练框架，其中分词器、目标语言、训练预算和暴露结构均可独立操作，从而能够对训练条件进行系统且可比较的实验。使用 Beetle，我们训练并发布了 285 个双语和 45 个单语开源 LM，在一系列暴露计划、数据规模和第一语言 (L1) 上具有丰富的检查点，以研究双语和第二语言学习的多语言预训练和计算建模。通过评估人类双语和第二语言阅读时间预测和语法判断任务的模型，我们发现，与平衡双语训练相比，分阶段和时间结构的课程持续改善与语言学习者阅读时间的一致性，在较小的数据规模和类型上更接近的语言对上收益最大。 Beetle 模型是非常适合的工具，可以帮助计算心理语言学超越其普遍的单语、以英语为中心的关注点，转向人类双语处理模型，研究跨语言学习动态，同时支持受控模型系列的基于社区的开发。