基于归因理论的日本推理社会偏见评估基准

为了提高 大语言模型 (LLM) 的公平性，评估植根于特定语言区域文化背景的社会偏见至关重要。然而，大多数现有的日本基准严重依赖翻译英语数据，这不一定提供适合日本文化的评估。此外，他们只评估结论中的偏见，未能捕捉到推理中潜伏的偏见。在本研究中，基于社会心理学中的归因理论，我们构建了一个新的数据集“JUBAKU-v2”，该数据集在确定结论的同时评估推理中将行为归因于内群体和外群体的偏差。该数据集包含 216 个反映日本特有文化偏见的示例。实验结果证明，它可以比现有基准更灵敏地检测模型之间的性能差异。