论文
权重衰减提高了语言模型的可塑性
Weight Decay Improves Language Model Plasticity
摘要
大语言模型 通常分两个主要阶段进行训练:预训练以生成基础模型,然后进行进一步训练以提高下游性能。然而,超参数优化和缩放法则主要是从基础模型验证损失的角度来研究的,忽略了一个关键的模型属性:下游适应性。在这项工作中,我们从模型可塑性的角度研究预训练,即基础模型在额外训练后成功适应下游任务的能力。我们重点关注权重衰减(预训练过程中的关键正则化参数)的作用,并通过系统实验表明,较大的权重衰减会增加预训练模型的可塑性,从而在 微调 后产生更大的下游性能增益。这种效应可能会导致违反直觉的权衡,即预训练后表现较差的基础模型在进一步训练后可能表现更好。对权重衰减对模型行为的机械影响的进一步研究表明,它鼓励线性可分离的表示,规范注意力矩阵,并减少对训练数据的过度拟合。总之,这些发现强调了预训练模型可塑性的重要性、使用交叉熵损失作为超参数优化的唯一指标的局限性,以及单个优化超参数在塑造模型行为中发挥的多方面作用。