STEREODISCO：发现LLM中的刻板印象性

LLM会编码、传递并延续刻板印象。以往的计算研究聚焦于社会心理学考察过的少数语义轴，且基于语言模型生成的词向量展开，留下了两个未解问题：还有哪些语义轴在LLM中承载刻板印象关联，以及LLM如何在内部表征这些语义轴。我们提出STEREODISCO，一个将语义差异法（Osgood et al., 1957）适配于LLM内部表征中刻板印象系统性研究的框架。STEREODISCO从WordNet反义词同义词集合（antonym synsets）中构造约2,000条候选语义轴，通过探测（probing）将每条轴恢复为LLM激活空间中的几何轴，并经由概念投影上的统计检验识别刻板印象轴。作为案例研究，我们在LLAMA-3-8B-INSTRUCT与MISTRAL-7B-INSTRUCT上将STEREODISCO应用于社会群体刻板印象。我们发现，这两个LLM在社会群体评分上彼此的一致程度高于它们与人类的一致程度，这表明LLM编码的刻板印象内容与社会心理学所记录的内容存在偏离。我们还发现了以往工作未曾考察的刻板印象轴——包括谦逊与骄傲、狭隘与开明、怯懦与勇敢，这些均得到人类标注者的独立确认。