超越表面线索：解开多语言中的社会文化信号 LLM

多语言 LLM 输出可能因社会文化背景而异。然而，文化基础的证据可能会产生误导：身份标签可以从明确或间接的文本线索中推断出来，而名称和措辞可以揭示源语言。将所有这些信号视为文化基础的证据可能会掩盖潜在的偏见。我们提出了一种经过人类验证的多主体审计，它区分了三个问题：输出是否会再现社会偏见、身份群体是否以不同的方式呈现，以及输出是否反映跨文化模式。该研究分析了 12 个 LLM 的英语、法语和中文的 89,253 个输出，涵盖 18 个职业和 3 个任务条件。我们发现偏差表示在不同的语言和任务中系统地变化。删除直接的身份线索会大大降低英语和中文中的身份标签预测，但对法语的影响要小得多。在所有语言类型设置中，与源语言相关的文化背景获得最高的平均相关性得分，自动评分和人工评分之间具有中等程度的一致性。然而，识别源语言的能力在翻译后以及在屏蔽名称后再次大幅下降。如果没有这些控制，多语言审计可能会将表面线索误认为是文化理解，从而导致关于跨文化差异和偏见的误导性结论。我们的审计提供了一个实用的框架，将这些捷径与更有意义的跨文化模式区分开来。