论文

语域差距:尼日利亚公共话语的意义情报框架

The Register Gap: A Meaning Intelligence Framework for Nigerian Public Discourse

模型评测基准与评测资源

摘要

我们引入了意义智能框架(MIF),这是一种针对尼日利亚公共话语的九维注释和评估模式,可将表面情绪与真正的交流意图分开。尼日利亚语言的现有基准(包括 NaijaSenti 和 AfriSenti)将情感分类视为三向极性任务。我们认为,人工智能系统在尼日利亚话语中的主要失败模式不是翻译失败,而是语境失败:同一个话语根据说话者、听众和情境的不同,具有相反的语用力量。 MIF 在九个评分维度上运用这一洞察:语域、表面情绪、真实意图、讽刺、编码潜台词、风险等级、注释者信心、演讲者情绪和推荐的沟通行动。我们构建了一个包含标准英语、尼日利亚英语、尼日利亚洋泾浜语和混合代码语域的 30 项校准数据集,并在零样本和模式通知提示条件下评估了三种前沿语言模型(Gemini 2.5 Flash、GPT-5 和 Gemini 2.5 Pro)。出现了两个主要发现。首先,语域差距:零样本语域分类准确度为 33.3%,当模型在上下文中接收 MIF 模式时,升至 73.3%(+40 分)。其次,模型能力和文化能力是脱钩的:GPT-5 (MIS 67.8) 和 Gemini 2.5 Pro (MIS 65.4) 的得分低于 Flash (MIS 78.6),并且都没有从基于模式的提示中受益。我们发布了框架规范、注释指南和校准集以支持可重复性。