论文
可解释的人类，外星人 LLM：评估响应中潜在结构的专家分析
Interpretable Humans, Alien LLMs: Expert Analysis of Latent Structures in Assessment Responses
摘要
大语言模型 (LLM) 的评估在很大程度上依赖于人类设计的评估，隐含地假设人工智能和人类采用相似的底层认知结构。为了挑战这一假设，我们研究了控制 LLM 表现的潜在因素是否与控制人类学习者的认知结构具有相同的实质性、人类可解释的含义。利用人类和六个 LLM 在定量推理和化学评估中的反应，我们分别对两组进行了探索性因素分析 (EFA)。然后，主题专家（SME）盲目地评估所得到的因子图，以将教学意义赋予所出现的结构。中小企业成功地解释了大部分人为因素。相反，他们无法在定量推理中赋予任何源自 LLM 的因子的含义，并且只能解释化学中一半的 LLM 因子。通过将数据驱动的 EFA 与盲人专家解释相结合，该框架表明 LLM 经常在与人类推理不同的统计上不透明的机制上运行。