LLM 准备好进行冲突监控了吗？来自西非的经验证据

随着 LLM 进入冲突监测，了解其产出中的系统性扭曲对于人道主义问责至关重要。我们根据 ACLED（具有多阶段验证的黄金标准数据集）对尼日利亚和喀麦隆冲突事件分类评估了四个普通开放权重模型 Gemma 3 4B、Llama 3.2 3B、Mistral 7B 和 OLMo 2 7B 以及两个领域适应模型 AfroConfliBERT 和 AfroConfliLLAMA。我们发现规范方向性存在分歧。开放权重模型表现出统计上显着的错误合法化偏差：Gemma 将 18.29% 的合法战斗错误分类为针对平民的暴力，同时错误合法化错误为零。相比之下，AfroConfliBERT 和 AfroConfliLLAMA 实现了近乎方向性的中立，合法化偏差差异几乎为零。然而领域适应并不能消除基于参与者的选择偏差。两种适应模型都显示出与普通 LLM 相当的统计显着的演员偏差；在尼日利亚，在相同的战术背景下，国家行为者的合法化程度比非国家行为者高 36.5%。开放权重输出对于地理特定的词汇框架也很脆弱：在喀麦隆，非法化短语的翻转率高达 66.7%，在尼日利亚为 34.2%，而在一种情况下显着的扰动在另一种情况下可能并不重要。错误跟踪分析显示模型通过不忠实的基本原理混淆掩盖了规范偏差。相比之下，AfroConfliBERT 和 AfroConfliLLAMA 基本稳健，跨扰动类别的翻转率接近于零。总体而言，当前模型尚未准备好在冲突监控中进行无监督部署。我们呼吁具有公平意识的 微调 来减少基于参与者的选择偏差、针对词汇操纵的强制性对抗鲁棒性评估，以及针对区域难度进行校准的特定上下文的人在环监督。