超越艺术杰作或旅游陈词滥调：如何评估您的 LLM 的文化一致性？

尽管 大语言模型 (LLM) 的文化（错误）对齐引起了越来越多的关注（通常以文化偏见为框架），但直到最近，用于文化评估的数据集的设计和开发工作仍然有限。在这里，我们回顾了此类数据集的现有方法并确定了它们的主要局限性。为了解决这些问题，我们提出了注释器的设计指南，并报告了根据这些原则构建的数据集的构建。我们进一步提出了使用该数据集进行的一系列对比实验。结果表明，在其他条件不变的情况下，我们的设计产生了具有更大辨别力的测试集，可以有效地区分专门针对特定文化的模型和非特定文化的模型。