大语言模型 温度缩放中的生成临界性

我们为 大语言模型 (LLM) 生成的文本提出了一个统计字段框架，将词元嵌入视为一维链上的连续旋转变量。从连接的两点相关器定义磁化率，从整体平均嵌入场定义顺序参数，我们改变\texttt{softmax}温度$T$，并在特征$T_c$附近观察到尖锐的磁化率峰值，具有类似幂律的缩放，顺序参数的同时快速变化，以及折叠到低于$T_c$的单个语义方向。由两个最近邻 (TwoNN) 方法估计的内在维度独立证实了这些发现，在 $T_c$ 附近达到最小值。结果在模型尺度（Qwen3：0.6B--32B）和提示类别中都很稳健。虽然现象学与连续相变非常相似，但自回归生成的非平衡性质值得进一步研究。我们的框架提供了用于探测 LLM 输出的集体统计结构的定量工具，并提出了解码策略和关键现象之间的联系。