未采样的真相：量化 LM 心理测量中的即时伪影

当提示语言模型进行心理测量评估时，研究人员假设响应反映了注入的角色和调查项目的含义。我们使用诊断设计来测试这个前提，该诊断设计跨越了五个语义上不同的基线角色和四个提示组件（角色措辞、任务说明、项目措辞、选项符号）中每一个的五个语义上等效的变体。测量所得响应分布之间的 1-Wasserstein 距离并划分五个分量之间的变化可以将目标效果与提示伪影分开。我们将该框架应用于 Big Five Inventory 和 Short Dark Triad 上的 13 个开放权重小语言模型（0.6B 到 14B）。我们发现，在大多数模型中，任务指令和选项符号比解释角色描述或项目本身更能取代响应分布。对于大部分项目，解释变异的伪影份额超过 50%；提示的非语义变化比基线角色造成更多的响应变化。我们的框架允许研究人员在解释心理测量输出之前量化这些即时工件。