使用预训练语言模型的模块化单语适应

为低资源语言构建单语语言模型 (LM) 通常依赖于通过在目标语言上微调整个模型来调整预训练语言模型 (PLM)。与从头开始的训练相比，这种方法受到广泛青睐，因为它可以实现有效的知识转移。此外，之前的工作表明，使用特定于语言的分词器可以增强适应性。在这项工作中，我们假设完整的模型调整通常是不必要的，并提出了一种更加模块化的方法。具体来说，我们替换标记，冻结相应的嵌入，并调整模型的其余部分。我们使用苏格兰盖尔语、爱尔兰语和盖丘亚语进行实验，其中盖丘亚语是一种资源非常低的语言（8.5k 训练实例）。对自然语言理解 (NLU) 任务（掩码填充、NER 和 POS）的评估表明，我们提出的方法在使模型适应低资源语言时提高了性能。此外，我们还对训练策略的有效性、预训练嵌入和模型的选择进行了全面分析。