代币化的随机性提高了稳健性

大语言模型 (LLM) 的广泛采用增加了对其稳健性的担忧。输入标记化扰动中的漏洞表明，使用确定性规范标记化训练的模型可能很容易受到对抗性攻击。最近的研究表明，随机标记化可以提供对扰动不太敏感的内部表示。在本文中，我们分析了随机标记化如何影响对抗性攻击和随机扰动的鲁棒性。我们通过一系列学习机制（预训练、监督 微调 和上下文学习）、数据集和模型架构系统地研究了这一点。我们证明，具有均匀采样随机标记化的 预训练 和 微调 提高了对随机和对抗性扰动的鲁棒性。对均匀采样的非规范标记化进行评估会将规范训练的 Llama-1b 模型的准确性降低 29.8%。我们发现，使用随机标记化进行训练可以保持准确性，而不会增加推理成本。