大语言模型 如何判断社会吸引力？来自多个 LLM 和人类的基于理论的角色评级的证据

大语言模型 (LLM) 越来越多地用于执行传统上由人类做出的主观评价，但它们作为社会判断的有效性仍不清楚。本文探讨了 LLM 是否可以根据以理论为基础的人物形象来评估社会吸引力，该人物形象由十个心理和关系结构构成，并分为三层：社会吸引力、社会混合性和社会无吸引力。我们在两项研究中检查了 LLM 评级，并在第三项研究中将其与人类判断进行了比较。在研究 1 中，34 LLM 在 3 次重复运行中对 12 个配置文件进行了评级。尽管某些模型总体上倾向于给出较高或较低的评级，但它们在运行过程中表现出很强的稳定性、一致的三层排序以及相对配置文件排序的高度一致性。研究 2 使用六对匹配的姓名和代词概况对以及使用中性姓名进行的单独的仅代词测试来检查对性别呈现的敏感性，在这两种分析中都没有发现显着影响。在研究 3 中，198 名人类参与者评估了研究 2 中的 6 个匹配配置文件。他们的评级再现了三层结构，并遵循与 LLM 一致的配置文件排序。然而，LLM 比人类更积极地评价有吸引力的个人资料，更消极地评价不有吸引力的个人资料，而两组都没有表现出性别表现的显着总体影响。