ExCAM：可解释的文化意识指标

评估 大语言模型 的文化意识对于确保生成文本的公平性和全球应用的普遍性至关重要。最近的基准通过问答或文本生成任务的角度探索食物等文化产品或压力情境下的行为等价值观。然而，创建这些基准需要耗时且昂贵的人工注释。此外，评估自由文本中的文化意识的基准很少，并且通常依赖于过时的评估机制。为了解决这一差距，我们引入了 ExCAM，一种可解释的文化意识指标，据我们所知，这是第一个专门的评估指标，用于识别、评级和解释指令输出对中的文化错误。为了训练和评估 ExCAM，我们引入了 ExCAM40k，这是一个由九个现有基准组成的数据集，我们通过综合错误重新格式化和增强了这些基准。与包括 GPT-5 在内的多个基线相比，ExCAM 在平衡测试集上实现了最高的错误检测率和高达 80% 的准确率。因此，ExCAM 为自由文本的细粒度和可解释的文化评估开辟了道路。