论文
九个情感质心:跨四种模式转移的无标签价轴
Nine Emotion Centroids: A Label-Free Valence Axis That Transfers Across Four Modalities
摘要
现代语言模型中有一个单一的内部方向,可以跟踪句子的积极或消极感觉。我们展示了如何从 9 个情感类别名称加上每种情感 50 个短叙述段落中找到这个价轴(V 轴)——比通常的监督方法少了大约 1,500 个标签——并且相同的方向出现在从未联合训练的视觉、音频和人脑编码器中。配方:将九个情感锚定的故事集嵌入到冻结的编码器中,采用九个平均嵌入的顶部主方向。将新输入投影到其上可以捕获 SST-2 上 93% 的监督性能(Llama-3-8B-Instruct,AUC 0.772 与 0.828),与 11,811 个 EmoSet 图像上 r=0.636 的人类价评级相关,在 ESC-50 音频上达到 AUC 0.906(p<2.2e-15),并且 AUC 123 名受试者的脑电图结果为 0.720+/-0.055 (p<3.65e-8)。该方向在机械上是活跃的:消除它会使三个 LLM 的情绪准确性下降 5.5-37.2 pp,而匹配的随机方向 (z>12) 最多下降 0.88 pp。在文本标签上训练的 2 参数分类器可以转移到没有目标模态标签的图像 (AUC 0.961)、音频 (0.764) 和大脑记录 (0.828);通用 16 维子空间保持偶然 (0.525)。配方受到连续属性的限制——对分类概念的七个测试几乎有机会返回——并且转向是特定于家庭的(Llama/Mistral 是,Qwen/Gemma 不是)。