文化差异保护：诊断大语言模型模拟调查人群中的扁平化和漫画化

大语言模型 (LLM) 越来越多地用作综合调查受访者来估计人口响应分布。在跨文化调查模拟中，评估不仅应该评估国家内部的分布保真度，还应该评估国家之间的差异是否得到保留。然而，现有的基于距离的指标，例如詹森-香农散度（JSD），并不能直接捕捉这种跨国差异。为了解决这一限制，我们引入了文化分歧保留（CDP），这是一种基于一次性人类校准的参考光诊断。 CDP 将跨国差异的减少视为文化扁平化，将差异的扩大视为文化讽刺。为了评估 CDP，我们在四个 LLM 主干、三个基于角色的提示方法和两个调查领域（世界价值观调查 (WVS) 和大五人格测试）进行了实验。结果揭示了传统保真度指标和 CDP 之间存在系统性差异。对照实验表明，随着跨国差异的减弱或放大，CDP 单调变化，而 JSD 的相应变化仍然相对较小。在我们对真实 LLM 世代的审核中，DeepPersona 启发的提示经常受到传统保真度指标的青睐，但在每个模型域块中表现出最强的扁平化。因此，CDP 通过直接量化跨国差异的衰减或放大来补充保真度指标。