论文
MemeBridge:用于基准测试和缓解模因解释中双向文化差距的数据集
MemeBridge: A Dataset for Benchmarking and Mitigating the Bidirectional Cultural Gap in Meme Interpretation
摘要
跨文化交流本质上是具有挑战性的,尤其是通过文化密集且模棱两可的形式(例如模因)。尽管人们期望 大语言模型 (LLM) 有望弥合此类差距,但现有基准数据集通常无法捕获准确解释所需的文化背景。为了解决这个问题,我们引入了 MemeBridge,这是一个以美国起源的模因为中心的精选数据集,旨在捕捉两个互补的观点:(1)中国参与者如何解释这些模因,以及(2)美国参与者如何预测来自其他文化的人可能会如何误解他们。在这里,语境指的是隐含的文化知识,包括背景信仰、规范和塑造模因理解的共同假设。该数据集是通过多阶段众包管道构建的,并经过严格的验证,包括人工协议检查和基于 GPT 的分类验证。每个模因都注释有情感、情感、文化意义和知识类型,为下游任务提供丰富的监督。值得注意的是,我们观察到,美国参与者的预期误解往往是不准确的,凸显了文化理解上的不对称以及采用超越自身观点的挑战。这种双向框架侧重于表达和感知,可以对跨文化理解进行更细致的基准测试。我们对多个 LLM 的探索表明,虽然在不同文化背景下开发的模型表现出部分跨文化理解,但它们常常难以进行复杂的解释。相比之下,带有 MemeBridge 的 微调 提高了模型性能,强调了基于文化的资源在全球多元化环境中训练和评估 LLM 的价值。