受损语言模型中的人工失语症

失语症是由脑损伤引起的选择性语言障碍，通过提供受影响的大脑区域和特定症状特征之间的因果关系来揭示人类语言的功能组织。借鉴这些文献，我们引入了一种受失语症启发的技术来描述语言模型（LM）的新兴功能组织。我们“损伤”（归零）模型参数并测量这种干预对临床失语症症状的影响，如文本失语症电池（TAB）所诊断的那样。当应用于 5 个 1B 级 LM 的 112,426 个输出时，评估的所有症状都会显现出来，但其分布与人类的分布大不相同。我们的方法揭示了注意组件（查询、键、值、输出）和前馈组件（上、门、下）之间广泛的症状特征差异，而同一机制内组件之间差异的证据较弱。我们还发现了深度的影响，其中早期层的损伤不成比例地导致句法和语义症状，而中后期层产生更高比例的语音和流畅性缺陷。尽管某些 LM 损伤在数量上与某些人类失语症类型比其他失语症类型更相似，但 LM 和人类之间症状模式的定性差异表明，失语症综合征很大程度上受到学习和处理细节的影响，而不是语言处理中断的领域不变结果。