噪声响应何时普及？标记化作为语言模型中的隐藏变量

当文本神经模型的输入被拼写错误、OCR 错误或丢词等噪声破坏时，其性能通常会下降。我们研究了神经模型（句子嵌入和仅解码器 LLM）的退化率，发现其一致性取决于噪声的规模：在单词级噪声下，具有非常不同架构的模型沿着几乎相同的曲线下降，而在字符级噪声下它们分开。我们进一步确定决定因素是训练目标，而不是架构：跨越六种预训练范例的八个编码器最初是分散的，并在简短的对比训练方案后崩溃到一条公共曲线上。我们将单词/字符分割追溯到标记化：单个字符编辑迫使标记器重新分割周围的单词，这对标记序列的干扰远远超过丢弃整个单词。这一发现及其基本机制提供了一种实用的方法，可以在不进行任何噪声评估的情况下预测模型对噪声的鲁棒性，并通过噪声增强训练在选定的噪声尺度上实现鲁棒性。