论文
相同的几何形状,相反的噪声:Transformer 幅度表示缺乏标量变化
Same Geometry, Opposite Noise: Transformer Magnitude Representations Lack Scalar Variability
摘要
标量变异性——代表性噪声与幅度成比例的发现,产生恒定的变异系数——是生物幅度系统的标志。我们通过分析三个 7-8B 参数模型(Llama-3-8B-Instruct、Mistral-7B-Instruct-v0.3、Llama-3-8B-Base;数据来自 Cacioli,2026)中 26 个数值量级的载体句子之间的隐藏状态表示的分散性,测试了 Transformer 语言模型是否表现出此属性。我们发现相反的情况:表征变异性随着幅度沿幅度轴的幅度而减小(缩放指数 alpha 约为 -0.19;alpha > 0 的 0/16 主要层,所有三个模型)。负号在全维空间(alpha 约为 -0.04)和句子同一性校正后(alpha 约为 -0.007)是一致的。沿幅度轴的反标量模式比正交维度强 3-5 倍,并且语料库频率强烈预测每个幅度的变异性 (rho = .84)。这些结果表明,单独的分布式学习不足以产生标量变异性:Transformer 再现对数压缩幅度几何形状,但不能再现生物系统中观察到的恒定 CV 噪声特征。