论文
LLM 是否在未经告知的情况下使用文化知识?内隐语用适应的多语言评估
Do LLMs Use Cultural Knowledge Without Being Told? A Multilingual Evaluation of Implicit Pragmatic Adaptation
摘要
许多基准测试表明,大语言模型 可以回答有关文化的直接问题。我们研究一个不同的问题:当文化仅由情境暗示时,他们是否也会改变他们的说话方式?我们在三种条件下评估了五种语言的 60 个基于文化的对话场景:中性基线(提示 A)、明确的文化指导(提示 B)和隐含的情境提示(提示 C)。我们对 12 个务实特征进行评分,包括尊重权威、个人与群体框架以及不确定性管理。我们将语用上下文敏感性 (PCS) 定义为在提示 A->C 下重新出现的提示 A->B 转变的分数。在四种部署的 LLM 和五种语言(英语、德语、印地语、尼泊尔语、乌尔都语)中,主要的稳定 PCS 平均值为 0.196 (SD = 0.113),这表明模型仅恢复了在明确指示时可以产生的语用转变的约五分之一。对于与权威相关的线索(0.299),转移最强,对于个人与群体框架(0.120)最弱。与不确定性相关的行为是混合的:对冲密度在所有五种语言中都表现出负的显性差距,这表明对齐训练主动抑制了目标行为。由于印地语和乌尔都语共享核心语法,但索引不同的文化社区,我们将它们用作自然控制;配对分析发现没有可靠的基线差异(t = 0.96,p = 0.339,dz = 0.06),这表明模型主要响应语言结构而不是语言所承载的文化关联。我们认为,多语言文化语用学是一个显性与隐性部署问题,而不仅仅是一个事实知识问题。