Transformer Dynamics 中的红外组织和关键认知场形成

大语言模型 表现出显着的突发行为，但控制其集体动态的物理机制仍然知之甚少。认知场理论预测，学习会重新组织集体松弛谱，从而通过慢松弛模式的红外组织来改变记忆自能、长期记忆动态和集体敏感性。这里我们直接在Transformer动态中测试这个框架。使用公开可用的 Pythia 语言模型，我们在整个训练、提示集成、网络深度和模型规模中从雅可比行列式中提取松弛谱，从而可以定量测量认知场论的集体可观测值。测量结果揭示了弛豫光谱的明显红外重组。学习实质上重新分配光谱权重，同时保留近乎平坦但弱红外增强的时间尺度状态密度， \( ρ(λ)\simλ^β, \qquad β\simeq-0.1, \) ，相应的记忆内核表现出接近 \( K(t)\sim\frac{1}{t} 的鲁棒长记忆缩放。\) 集体可观测值进一步揭示了一个关键的形成过程：记忆自能在早期训练期间达到瞬态最大值，然后放松到亚稳态近临界状态。即时解析和词元子空间测量表明，不同的局部雅克比行列式恢复了具有共享红外缩放的共同宏观 TDOS，与粗粒度下的红外定点组织一致。这种红外组织在训练、即时集成、网络深度和 Transformer 模型尺度上的可重复性支持红外慢模式组织作为 Transformer 动力学的鲁棒集体原理，提供了认知场理论预测的集体可观测值的定量实验实现。