论文

提示改写:文生图系统中文化偏见的一个来源

Prompt Revision as a Source of Cultural Bias in Text-to-Image Systems

模型评测鲁棒性、公平性与可信度评测

摘要

商业文本到图像系统在生成图像之前会默默地修改用户提示,这是用户通常无法禁用甚至无法看到的步骤。然而,现有的文化偏见审计仅检查最终图像,并将一代人视为单一管道,因此他们无法判断偏见的根源。我们推出了 WORLDVIEW,这是一个多语言基准,包含 15 种语言和 31 种语言上下文配对的 8,960 条提示。使用它,我们通过三步分析来审计三个系统(DALL-E-3、Imagen-4、GPT-Image-1.5)中的修订层,即它对每个文化背景的标记程度、是否将该背景扁平化为狭隘的词汇,以及该词汇是否是刻板印象。相对于无语境的英语基线,美国是标记最少的语境,而非西方和非英语语境的标记要严重得多,被扁平化为狭窄的词汇,适用于不同主题的提示,并简化为可识别的文化刻板印象。比较没有修订层的模型上原始提示和修订提示的图像,我们将层本身确定为以前未记录的这种刻板印象的因果来源。为了找到并解决文化偏见,我们必须审核部署的系统,而不仅仅是模型。