专而不忘：分析多语言模型适应中的知识保存

虽然持续预训练（CPT）是将 大语言模型 扩展到新语言的实用方法，但幼稚的微调通常会因灾难性的遗忘而侵蚀现有的能力。我们研究哪些模型层驱动了这种权衡，以及这些层的干预是否可以指导适应过程中的知识保存。我们在五个语系的 CPT 前后插值 gemma-3-4b 模型状态，以定位阅读理解和翻译的遗忘，发现中间层回归产生最大的理解恢复，而翻译效果因语系和方向而异。在这些发现的指导下，我们评估了利用该层信息来减轻遗忘的 CPT 策略：层冻结、层范围 L2 正则化、事后层恢复和模型汤化，将所有策略与联合多语言和家庭特定的普通 CPT 基线进行比较。我们发现，保留通过模型插值确定的层权重大大减少了相对于联合 CPT 的理解损失，平均而言，层冻结超过了基础模型的性能。然而，这些策略会产生混合的翻译结果：密集训练或事后回归通常优于训练时间限制和特定于族的专业化，这使得关于模型在扩展到新任务时应如何对齐的先前假设变得复杂。相反，我们认为多语言适应策略应该由目标语言、基础模型知识和下游任务提供信息，并提出基于插值的本地化作为诊断，用于在新环境中进行训练时干预之前识别候选层。