论文
SEA-NLI：自然语言推理作为东南亚文化理解的镜头
SEA-NLI: Natural Language Inference as a Lens into Southeast Asian Cultural Understanding
摘要
Frontier LLM 在西方环境中表现良好，但在东南亚 (SEA) 等代表性不足的文化中仍然缺乏测试。现有的 NLI 基准主要以西方为中心、翻译衍生或单语，限制了它们衡量基于文化的推理的能力。我们推出 SEA-NLI，这是一个基于文化的本地 NLI 基准，涵盖八个东南亚国家，采用英语和本地区域语言，并由母语人士验证。在 17 个编码器和解码器模型中，我们观察到所有模型的性能都很低，特别是对于语言和科学技术等知识密集型类别。我们的分析表明，失败案例主要源于SEA文化知识的缺失：SEA适应模型和文化意识提示可以提高绩效，而CoT提示带来的收益有限。