LLM 推断文化背景但在回应时未能应用它

最近的研究表明，LLM 过度代表了主流文化，尤其是西方文化，同时边缘化了其他文化。我们根据用户感知的文化背景评估模型对本地测量单位的使用，以调查这是否会影响模型生成文化适应响应的能力。我们引入了文化和语用反应推理（CAPRI），这是一个具有不同文化线索水平的对话数据集。使用最先进的 LLM 进行的实验表明，模型可以推断文化背景并回忆相关惯例，但通常无法利用这些信息来调整其答案以适应相关文化惯例，除非明确提示按顺序执行任务。我们进一步评估对时间和数量表达的解释的适应性，这两个受文化影响的受语境影响的语言理解维度。我们发现，随着文化线索的积累，模型越来越多地调整他们的答案，但他们的先验并不是文化中立的，有时与模型的原籍国一致。总体而言，CAPRI 为未来的研究提供了资源，旨在缩小文化知识和文化适应性语言生成之间的差距。