Wazobia Eval：尼日利亚洋泾浜情感理解、讽刺检测和文化推理的基准

尼日利亚洋泾浜语是非洲使用最广泛的语言之一，但在语言模型评估中的代表性仍然严重不足。现有的基准主要关注翻译、转录或一般情感分析，而没有衡量基于文化的语言理解的关键方面。我们介绍 Wazobia Eval，这是一个评估尼日利亚洋泾浜语情感理解、讽刺检测和文化推理的基准。该基准建立在手动注释的数据集上，其中包含 550 多个示例和 16 类情感分类法，旨在捕获传统情感框架中未表示的文化特定情感寄存器。 Wazobia Eval 提供标准化评估协议和基准任务，用于评估模型对尼日利亚语言理解的细微差别的性能。我们介绍了基准设计、注释方法、分类法开发过程和初步试点评估结果。我们的目标是为尼日利亚语言人工智能提供基础评估基础设施，并为未来研究建立可重复的基准。该数据集可在 https://huggingface.co/WAZOBIALABS 上公开获取。