论文

认知专家语言模型更好地与相应的大脑系统保持一致

Cognitive Expert Language Models Better Align with the Corresponding Brain Systems

模型评测模型行为与机制分析

摘要

大语言模型 (LLM) 可以预测自然语言理解过程中各个大脑区域的人类大脑活动。然而,通常情况下,大语言模型-大脑对齐是使用针对大脑不同区域的一种模型来测量的,然后总结跨区域的模型性能。这种一刀切的方法忽略了大脑区域的功能专业化。在这项研究中,我们评估面向特定认知领域的模型是否与专用于该领域的大脑系统更好地保持一致。通过提示和微调,我们首先为六个领域构建专业的大语言模型变体:感觉、空间、数字、推理、社交和抽象处理。然后,我们检查每位专家是否能够最好地预测与相应认知领域相关的大脑区域的活动。与我们的假设一致,与其他专家相比,每位专家的表征与与匹配领域最相关的大脑系统更加一致。这在三个基本模型和三个功能磁共振成像数据集的提示和微调下都成立。在一系列控制分析中,我们表明这种模型-大脑对齐是认知领域干预所特有的;非认知和表面干预不会导致可比的一致性。专业化模型改变了区域一致性,同时总体预测精度基本保持不变,这表明总结跨区域的一致性可能会掩盖特定模型性能的区域差异。