大语言模型 中的紧急重新标记化对称性：现象学和应用

标记化引入了表征冗余：在固定的标记词汇表下，每个字节字符串都允许许多有效的标记编码或分段，这些编码或分段可以解码为相同的表面字符串。然而，在给出提示的情况下，大多数语言模型分词器通过返回规范分段来打破这种表征对称性。仅对规范分割进行训练应该会影响推理行为，并且没有理由期望模型尊重下游任务的分割对称性。我们发现这种对称性在训练过程中部分出现。在这里，我们通过测试词元组成理解、表示多样性和以任务为中心的基准性能的实验来探讨这种新兴的对称性。我们主要使用 \textbf{retokenization} ——用替代分段替换提示的规范标记化，同时准确保留其字节。相对于其他提示扰动，重新标记异常干净，因为它在不改变语法、语义或表面形式的情况下隔离了分段效果。我们使用重新标记化来研究预训练和 后训练 中语义相同的输入表示的敏感性和鲁棒性。此外，这种部分重新标记化对称性表明了不同的推理时间采样轴。虽然温度采样使用其下一个标记概率分布从模型中生成不同的输出，但重新标记化通过语义等效的输入表示从模型的内部计算中生成多样性。我们发现，虽然这种重新标记化采样策略可能会损害简单问题的性能，但它也可以恢复传统采样找不到的解决方案。总的来说，我们的工作将重新标记化呈现为 大语言模型 的简单而强大的探针，阐明了成分理解和即时敏感性，并提供了一种新颖的采样策略。