随机性底线：测量语言模型标记分布中的内在非随机性

语言模型不能是随机的。本文介绍了熵偏差 (ED)，即模型标记分布与均匀分布之间的归一化 KL 散度，并在 31,200 代中系统地测量了它，涵盖七个模型、两种架构（Transformer 和状态空间）、九个提示类别、三种温度和五种语言。在语义中性提示（空字符串、随机字符、无意义音节）下，Transformer 仍然表现出约 0.30 的 ED，这意味着在语义提示下观察到的 88-93% 的非随机性是学习权重固有的，而不是由上下文引起的。尽管训练数据和词汇不同，但三个 Transformer 系列（Gemma、Llama、Qwen）收敛于几乎相同的 ED 值。状态空间模型 (Mamba2) 揭示了一种性质不同的机制：ED 是两倍，序列内方差低三倍，并且对温度非常敏感 (r = -0.78)，而 Transformer 几乎不受影响 (r < 0.05)。 Qwen-32B 的跨语言实验显示，五种语言（英语、日语、中文、波兰语、阿拉伯语）之间存在稳定的梯度，该梯度与标记丰富性无关，并且在比较共享相同标记器子集的两种语言时仍然存在。这些发现在预训练语言模型中建立了随机性的结构下限，描述了该界限在不同架构之间的差异，并证明语言本身独立于标记化来调节界限。