社会规范一致性的自然主义衡量

社会规范反映了对可接受行为的共同期望。衡量社会规范的一致性仍然具有挑战性，现有的方法通常依赖于人工封闭式评估，例如多项选择问卷或衡量与预定义陈述的一致性。在这项工作的背景下，社会规范一致性是指衡量社会问题或困境的解决方案之间的一致性。我们提出了一个框架，通过解决方案匹配来衡量自然、自由形式环境中的社会规范一致性。该框架使我们能够衡量任何两个困境反应之间的一致性，例如，LLM 与人、LLM 与 LLM 或人与人之间。我们引入了两个指标：陈述的和明确的协议准确性，并构建了一个包含 3000 个丹麦语重要社会困境的数据集。所有困境都被分配了来自三名小组成员的参考解决方案，他们担任基于文化的法官。我们在类似于自然用户模型对话的交互设置中评估了多个 LLM 和人类响应的一致性。我们的结果表明，所提出的指标产生了一致的模型排名，并揭示了不同类型困境的一致性差异，对于邻居冲突和共享生活情况等主题观察到更高的一致性。总的来说，我们的工作引入了一个数据集和评估框架，用于研究自然开放式对话中基于文化的社会推理。