LLM能真正体现人类人格吗？争议解决中AI与人类行为的对齐分析

大语言模型（LLM）日益被用于在法律调解、谈判与争议解决等社会情境中模拟人类行为。然而，这些模拟是否再现了在人类身上观察到的人格-行为模式，仍不清楚。例如，人类人格塑造着个体应对社会互动的方式，包括在情绪激烈的互动中的策略选择与行为。这引出了一个问题：LLM在被提示以人格特质时，能否再现人类冲突行为中由人格驱动的差异？为探究这一问题，我们提出一个评估框架，使得能够就大五人格量表（BFI）人格特质，直接比较争议解决对话中人与人以及LLM与LLM之间的行为。该框架提供了一组与策略行为及冲突结果相关的可解释指标。我们还贡献了一种新的数据集构建方法，用于创建场景与人格特质均与人类对话相匹配的LLM争议解决对话。最后，我们用三个当代闭源LLM演示了评估框架的使用，发现与人类数据相比，不同LLM在冲突中呈现人格的方式存在显著分歧，这挑战了以人格提示的智能体可在具有社会影响的应用中充当可靠行为代理的假设。我们的工作强调，AI模拟在投入现实使用之前需要进行心理学基础化与验证。