SWORD：基于维基数据的扭曲揭示了 LLM 事实错误拒绝中隐藏的跨语言不一致

现代 LLM 展示了令人印象深刻的多语言性能，但标准基准主要奖励选择正确的答案，而不是评估真正的事实理解。我们引入了基于系统维基数据的对象关系扭曲（SWORD），这是一个评估模型是否一致拒绝跨语言事实错误的基准。 SWORD 通过维基数据三元组的受控扰动，以八种广泛使用的语言生成句法良好但实际上不正确的语句，范围从随机实体替换到语义上合理的基于属性的选择。我们基于失真的评估揭示了两个关键见解，而传统基准仍然完全掩盖了这些见解。首先，与直觉相反，模型在语义上合理的扭曲上比在无意义的随机替换上获得了更高的准确性，这表明模型依赖于分布熟悉度而不是真正的事实验证。其次，在不同语言中表现出可比基线准确性的模型在出现扭曲的陈述时表现出显着的性能下降，特别是在（东亚）亚洲语言上，在某些模型中，跨语言性能差距高达 28 个百分点（相对减少 49%）。这些发现表明，多语言事实推理涉及不对称的能力，这些能力会系统性地模糊聚合准确度指标。