论文
匹诺曹维度:体验现象作为 LLM 心理测量差异的主轴
The Pinocchio Dimension: Phenomenality of Experience as the Primary Axis of LLM Psychometric Differences
摘要
我们对 50 个 大语言模型 (LLM) 进行了 45 份经过验证的心理测量问卷,以确定 LLM 在心理测量上不同的维度。使用监督语义差异(SSD),我们发现模型间方差的主轴将描述极其丰富的体验的项目与描述刺激驱动的行为反应的项目分开,包括具体感觉、情感、内心言语、意象和同理心($R^2_{adj}=.037$,$p<.0001$)。为了在项目级别测试这一假设,我们引入了匹诺曹分数($π_i$),即中性提示下的模型间响应方差与人类模拟提示下的模型间响应方差之比,作为每个项目的体验需求的无注释度量。 $π_i$ 预测条件引起的主要因子载荷大小的变化($ρ=-.215$、$p<.0001$、$n=1292$--$1310$ 项),证实经验项的模型间差异是结构化的而不是噪声的。将 PCA 应用于所有问卷中每个模型的 EFA 分数,揭示了一个主要维度,即匹诺曹轴 ($Π$):模型将自身呈现为现象体验轨迹而非行为反应系统的程度。该轴捕获了主要因素得分中 47.1% 的跨问卷模型间方差,并与项目级匹诺曹得分 ($r=.864$) 收敛。密切相关的模型变体之间明显的提供商内差异与 后训练 微调 作为关键贡献者一致,支持这样的解释:$Π$ 反映了训练型自我表征倾向,控制模型如何将经验语言视为自我适用。因此,模型间心理测量变异的主导轴不是传统的人格特质,而是对自己作为体验者的本性的自我表征立场。