论文

表达社会情感:LLM 与人类文化情感规范之间的错位

Expressing Social Emotions: Misalignment Between LLMs and Human Cultural Emotion Norms

模型评测模型能力评测

摘要

服务于社会目的的情感表达,例如主张独立或促进相互依赖,是人类互动的核心,并且在不同文化中存在系统差异。随着 LLM 越来越多地用于模拟文化微妙互动中的人类行为,了解它们是否忠实地捕捉人类社会情感表达模式非常重要。当 LLM 响应在文化上不一致时,其效用就会受到损害 - 特别是当用户认为他们正在与文化上协调的对话者进行交互时,并且可能会根据在其文化背景下证明不合适的建议采取行动。我们在 LLM 中提出了跨文化社会情感表达的心理学评估框架。通过一项人类研究,比较欧洲裔美国人和拉丁美洲参与者的参与和脱离情绪的表达,我们评估了六个前沿 LLM 他们反映表达社会情绪的文化差异模式的能力。我们发现模型和人类行为之间存在系统性的错位:所有模型都表达更多的参与情感而不是脱离情感,特别是在普遍具有代表性的欧洲裔美国人角色中观察到明显的差异。我们进一步强调,LLM 反应是高度集中和确定性的,未能捕捉到人类在表达社会情感时反应的多样性。我们的消融分析表明,这些模式对采样温度具有鲁棒性,对提示语言部分敏感,并且依赖于响应引发格式。总之,我们的研究结果强调了当前 LLM 如何表示文化和情感轴相互作用的局限性,特别是在表达社会情感时,对其在跨文化情感背景中的部署产生直接影响。