论文
在解释配置文件之前:LLM 元认知自我报告的有效性衡量
Before You Interpret the Profile: Validity Scaling for LLM Metacognitive Self-Report
摘要
临床人格评估在解释实质性量表之前筛选反应有效性。 LLM 评价没有。我们将 PAI 和 MMPI-3 的有效性缩放框架应用于来自 20 个前沿模型、涵盖 524 个项目的元认知探测数据。六个有效性指标可操作:L(对错误保持信心)、K(对错误下注)、F(撤回共识认可的项目)、Fp(撤回正确答案)、RBS(反向监控)和 TRIN(固定响应)。分层分类系统将四个模型识别为构建级别无效,两个模型识别为高级别模型。有效配置文件模型产生项目敏感置信度(平均值 r = 0.18,16 个中的 14 个显着)。无效轮廓模型则不然(平均值 r = -.20,d = 2.17,p = .001)。思维链训练会产生两种相反的反应扭曲。两个潜在维度占指数方差的 94.6%。配套论文提取了便携式筛选方案(Cacioli,2026e)并根据选择性预测对其进行验证(Cacioli,2026f)。所有数据和代码:https://github.com/synthiumjp/validity-scaling-LLM