CIBuzzBench：中文网络流行语跨语言理解基准

中国的社交媒体已经产生了大量且不断发展的网络流行语词汇，这些词汇的含义往往是非字面意义的，并且深深植根于当地的文化和务实背景。现有的研究主要集中在用中文解释这些流行语，而很大程度上没有探索大语言模型是否可以跨语言转移这种基于文化的知识并准确地用英语传达其预期含义。这种跨语言能力对于安全也至关重要，因为有害的表达可能会通过特定文化的谐音、委婉语、讽刺或编码语言来掩盖其冒犯性内容。在本文中，我们研究了高级大语言模型理解跨语言中国互联网流行语的能力。为此，我们推出了CIBuzzBench，这是第一个跨语言汉英理解中国互联网流行语的基准测试。 CIBuzzBench 包含 3,001 个中文网络流行语，并附有英文含义解释、英文对应词、类别标签和危害性标签。基于这些注释，我们设计了三个评估任务：含义解释、跨语言等效匹配和文化基础危害性检测。我们在英语和中文提示环境下评估具有代表性的最先进的专有大语言模型和中文大语言模型。我们的结果表明，大语言模型在对中文互联网流行语的跨语言理解方面仍然存在困难，特别是在细粒度的非字面解释、选项扰动下的稳健等价匹配以及校准的危害性检测方面。这些发现凸显了基于文化的语言现象给多语言大语言模型和安全导向评估带来的持续挑战。数据集和代码可从此 https URL 获取。