分析 LLM 微调 中噪声的影响

微调 是将预训练的 大语言模型 (LLM) 应用于下游 NLP 任务的主导范例。实际上，微调 数据集可能包含由注释错误、预处理工件或自动数据收集产生的各种形式的噪声。虽然之前的工作重点是设计稳健的学习算法以减轻噪声条件下的性能下降，但对于不同类型的噪声如何影响 LLM 在 微调 期间的内部学习动态，人们知之甚少。在这项工作中，我们系统地研究了噪声对三个预训练模型系列（GPT-2、Qwen2 和 Llama-2）和三个不同 NLP 任务的模型行为的影响。我们引入了与现实世界中三种常见噪声类型相对应的受控扰动：标签噪声、语法噪声和印刷噪声。除了任务级性能之外，我们还分析分层表示变化和注意力模式，以了解噪声如何通过网络传播。我们的结果表明，损坏的标签（即标签噪声）始终会导致最大的性能下降，而语法噪声和印刷噪声偶尔会产生轻微的正则化好处。我们进一步发现噪声影响主要集中在特定任务层，而注意力结构保持相对稳定。