基于价值密码本的LLM文化价值一致性的分布式开放式评价

由于 LLM 在全球范围内部署，调整其文化价值取向对于安全和用户参与至关重要。然而，现有的基准面临着建构-构成-语境（$C^3$）的挑战：依赖于有辨别力的多项选择格式，这些格式探索价值​​知识而不是真正的方向，忽视亚文化异质性，以及与现实世界的开放式一代的不匹配。我们引入了 DOVE，一种分布式评估框架，可以直接将人类编写的文本分布与 LLM 生成的输出进行比较。 DOVE 利用率失真变分优化目标从 10K 文档构建紧凑的值码本，将文本映射到结构化值空间以过滤语义噪声。一致性是使用不平衡的最佳运输来衡量的，捕捉文化内的分布结构和亚群多样性。 12 个 LLM 的实验表明，DOVE 实现了卓越的预测有效性，与下游任务的相关性达到 31.56%，同时保持高可靠性，每个培养物的样本数量少至 500 个。