论文
现代 LLM 和人类脑电图的共享价轴:饱和规律
A Shared Valence Axis Across Modern LLMs and Human EEG: The Saturation Regularity
摘要
大语言模型 (LLM) 已成为强大的表征学习器,其内部特征越来越符合人类认知。我们研究现代 LLM 是否可以作为理解人脑神经表征的透镜,重点关注脑电图的情绪效价。我们首先仅使用九个情感唤起句子从现代 LLM 构建一维价方向,即 V 轴。我们通过零样本转移到情绪基准以及十四个 LLM 的跨模型一致性来验证它。然后我们证明这个源自 LLM 的方向映射到人类神经活动。在由 123 名观看情感视频的受试者组成的公共脑电图队列中,脑电图特征上的单个线性投影跟踪每个刺激的 V 轴位置。此外,36 个在未接触 V 轴的情况下接受训练的 EEG 情绪分类器自发地重新发现其内部表征的相同方向,这表明语言模型和人类电生理学中都出现了相同的价结构。然而这种融合并没有提供有效的训练信号。我们测试了 25 种对齐策略,包括 知识蒸馏、表征相似性、对比和地形损失;没有一个可以改善解码,有十六个会显着降低准确性。我们将这个结果形式化为饱和规律:一旦任务标签单独将大脑解码网络驱动到目标方向,额外的监督主要会扭曲已经饱和的盆地,而承载类内残差几乎没有收到有用的梯度。这种规律性也表明了改进应该从哪里开始:监督无法到达的剩余子空间。受这一见解的激励,我们对剩余多样性进行集成,而不是监督流域,与 FACED 上的先前最佳结果相比,平衡精度提高了 10.5%,并且在 SEED-V 上复制了相同的效果。