Transformer 和状态空间架构中集体动力学的红外普遍性

不同的神经结构是否会发展出共同的集体动力仍然是一个悬而未决的问题。最近对 Transformer 语言模型的分析揭示了与近边缘长记忆动态相关的近乎平坦、弱红外增强的时间尺度状态密度 (TDOS)。在这里，我们测试曼巴是否出现了一个密切相关的组织，其选择性状态空间动力学提供了一种根本不同的微观机制。 Mamba 允许在三个层面上解析弛豫动力学：学习状态空间生成器的固有谱、其输入条件选择性重新缩放以及从其雅可比行列式测量的整个块的集体 TDOS。这些光谱并不相同：选择性动力学和剩余的块变换实质上重新组织了微观弛豫层次结构。然而，整个模块形成了一个可重复的慢模式连续体，其红外部分随着序列长度的增加而逐渐变得更好地解析。累积分析得出 $ρ(λ)\simλ^β$，长序列 Mamba 指数稳定在 $β_{\rm M}\simeq-0.17$ 附近。相应的记忆动态遵循 $K(t)\sim t^{-(1+β)}$，接近边际 $1/t$ 状态。尽管微观动力学存在根本不同，但 Transformer 全块光谱表现出密切相关的红外组织，其代表性指数为 $β_{\rm Tr}\sim-0.1$ 阶。这些结果将显式状态空间记忆与集体红外组织分开，并表明不同的序列架构可以发展密切相关的近边缘慢模式动力学。它们将红外集体组织扩展到 Transformer 之外，并提供认知场理论描述的动态结构的独立测试。