不同的扰动，不同的机制：了解零样本方言鲁棒性的续 预训练

方言变化仍然是多语言语言模型的主要挑战。基于扰动的持续 预训练 (CPT) 已成为一种有前景的提高鲁棒性的方法，但现有的工作主要是孤立地评估个体扰动策略，并且对它们工作原理的了解有限。我们在 LLM 中对基于扰动的 CPT 多语言方言鲁棒性进行了系统研究，比较了九种德语、意大利语和阿拉伯语方言任务的六种训练条件。基于扰动的 CPT，尤其是字符噪声 CPT，不断提高零样本方言的鲁棒性，同时在很大程度上保留标准品种性能。更重要的是，我们表明具有相似下游性能的方法会产生不同的鲁棒性机制，表现出不同的语言模型适应、表征对齐和预测修复模式。我们的结果提供了对合成表面变化如何提高鲁棒性的更全面的理解，并为在多语言和方言环境中选择 CPT 策略提供了实用指导。