变色龙的极限：调查 大语言模型 中的角色崩溃和同质化

基于 大语言模型 (LLM) 的应用程序（例如多智能体模拟）需要智能体之间的群体多样性。我们确定了一种普遍的失败模式，我们称之为\emph{角色崩溃}：每个代理都分配了不同的配置文件，但仍然汇聚成一种狭窄的行为模式，产生同质的模拟群体。为了量化角色崩溃，我们提出了一个框架，用于衡量人群占据角色空间的大小（覆盖范围）、代理在其中分布的均匀程度（均匀性）以及由此产生的行为模式的丰富程度（复杂性）。通过评估十个 LLM 的人格模拟（BFI-44）、道德推理和自我介绍，我们观察到角色沿着两个轴崩溃：（1）维度：一个模型可以在一个轴上表现出多样性，但在另一个轴上结构退化；（2）领域：同一个模型可能在人格上崩溃最多，但在道德推理上却最多样化。此外，项目级诊断表明，行为变化跟踪粗略的人口统计刻板印象，而不是每个角色中指定的细粒度个体差异。与直觉相反，\textbf{实现最高个人角色保真度的模型始终会产生最刻板印象的人群}。我们发布了工具包和数据来支持 LLM 的人群水平评估。