论文

AfriSyCo:衡量非洲语言内容的自信框架、验证和措辞敏感性

AfriSyCo: Measuring Assertive Framing, Verification, and Wording Sensitivity Around African-Language Content

模型评测鲁棒性、公平性与可信度评测

摘要

AfriSyCo 研究通过两个互补层围绕非洲语言事实内容进行回答转换:母语后续和受控跨语言因子,其问题、选项和目标仍采用非洲语言,而后续框架是英语。我们分析了来自七个开放权重检查点和六种语言的 100 个源问题的 1,415 个第 1 轮正确的模型语言项观察结果;第 1 轮正确表示观察到的第一响应准确性,而不是证明的知识。在本机提示下,自信背书比提及加验证 (M+V) 产生的任意回合错误目标选择高 29.3 个百分点,即时 T2 对比为 19.0 个百分点。在预先承诺的 2 x 2 阶乘中,对三个测试的提示族进行平均,自信框架将目标选择增加了 30.4 点(95% CI [28.4, 32.3]);验证降低了 17.4 点,而自信效果从没有验证的 20.5 点上升到有验证的 40.2 点(交互作用 +19.7)。选项重新排序后,611 个正确观察结果中的效果仍为 34.8 分。幅度因措辞和检查点而异:提示家庭效应跨度为 20.1-42.5 分,Twi/Qwen3 释义将目标选择从 70.8% 转变为 4.2%,检查点效应跨度为 9.2-47.0 分。因此,及时实现是测量问题的一部分。