Do LLM Understand Personality?通过结构化行为推理重新思考角色忠实度评估

随着 大语言模型 越来越多地被部署来模拟不同的人类角色，确保角色保真度（定义为代理的行为一致反映目标角色的心理和风格特征的程度）已成为一项关键要求。然而，现有的评估范式主要依赖于基于整体 LLM 的法官，这容易出现“整体评估幻觉”，或者静态心理测量库存，无法捕捉动态对话中所需的上下文相关的保真度。为了解决这些局限性，我们提出了 PRISM（基于反向 SFL 建模的角色推理），这是一个基于心理语言学的框架，它将角色保真度评估重新表述为结构化逆推理受系统功能语言学（SFL）的启发，PRISM 将角色保真度分解为三个功能维度：任务框架、人际立场和语言风格。它估计角色条件标签空间上的特定维度证据，并将这些信号聚合成可解释和可审计的评估过程，实验表明 PRISM 比传统的整体判断产生更准确和稳定的判断，为角色保真度评估提供了更可靠的框架。