计算东方主义：使用中东文化敏感性评分（MECSS）测量 大语言模型 中的结构性话语偏差

人工智能系统现在塑造了数亿人了解自己文化以外的文化的方式。当有人询问这些系统之一有关中东的情况时，他们不会收到中立的事实。他们收到的表示形式是由训练数据中嵌入的框架形成的，而这些数据绝大多数是西方和英语的。本文询问这种表述是否属于萨义德意义上的东方主义：它是否否认中东行为体的代理权，是否将西方框架视为中立，同时将非西方知识标记为特殊，并通过其未产生的类别来解释该地区。标准公平指标无法回答这个问题，因为它们检测的是明确的偏见，而不是结构性框架。本文介绍了中东文化敏感性评分（MECSS），一个将萨义德的七个东方主义行动转化为可测量维度的框架，以及针对特定失败的术语“萨义德清洗”：一个否认概括的模型，然后再现了它所否认的结构。在 280 次对话（1,120 次交流）中，GPT-4 和 Falcon3-7B-Instruct 都通过结构定位而不是开放的刻板印象系统地再现了东方主义模式。 GPT-4 得分中等（平均 MECSS 1.73）； Falcon3-7B-Instruct 得分更高 (2.18)，尽管它是在阿布扎比制造并使用阿拉伯语内容进行训练的。这反驳了这样一种假设，即在区域内建立模型会降低其东方主义色彩，尽管模型的大小和起源各不相同，因此不能将地理因素单独作为原因。认知中心（Epistemic Center）将西方框架视为未标记的普遍性，在这两个模型中得分都接近顶部。 Said-washing 出现在 87.9% 的 GPT-4 对话中，这是现有指标无法看到的模式。减少这种偏见需要改变模型的学习内容，而不仅仅是添加语言或重新安置机构。