Pancasila-困境：评估基于 Pancasila 的印度尼西亚人类价值困境 大语言模型

大语言模型 (LLM) 的价值一致性对于确保响应符合人类意图和价值偏好至关重要。然而，大多数价值一致性评估都集中在西方或普世价值，而基于特定国家价值体系的评估仍然很少。在本文中，我们介绍了 Pancasila-Dilemmas，这是一个来自印度尼西亚新闻的 1,834 个问题的评估数据集，按照 Pancasila 的 5 个价值观进行分类：宗教、人性、团结、民主和社会正义。该数据集反映了印度尼西亚的日常生活，使其适合衡量为印度尼西亚部署的 LLM 的价值一致性。为了确保更严格的评估，我们选择包含困境的场景。该数据集由母语人士校对，并由 5 名不同的印度尼西亚公民回答。我们在数据集上评估了 50 个封闭源和开源 LLM。结果显示，所有评估的 LLM 的概率匹配得分 (PMS) 和最大投票一致性得分 (MVAS) 均低于 0.5。从各个价值观进行比较，LLM大多在宗教和团结困境中挣扎。这凸显了在捕捉印尼价值观方面存在的巨大差距。该数据集可在 https://github.com/tjunlp-lab/Pancasila-Dilemmas 上公开获取。