论文

ContextBias:文本到图像模型中上下文转换下偏差持续性的受控评估

ContextBias: Controlled Evaluation of Bias Persistence Under Context Shift in Text-to-Image Models

模型评测鲁棒性、公平性与可信度评测

摘要

文本到图像模型学习概念(在本文中为人们的职业,我们称之为角色)和视觉属性之间的关联。这些关联可以支撑许多观察到的刻板偏见形式。该领域的一个关键的悬而未决的问题是,当专业角色的人的视觉表现被置于不同的提示环境中时,这些关联是稳定还是变化。我们引入了 ContextBias(一个受控评估框架)和 ContextBench(一个涵盖 92 个角色和 1,656 个语义控制提示的基准),旨在隔离上下文变化对角色相关视觉表示的影响。在 66,240 个生成的图像上评估四个最先进的模型,我们发现将角色放置在语义不相关的上下文中并不会抑制角色相关的属性;相反,跨角色属性集中度增加(汇总 BI $+0.047$)。人口统计线索、特色服装和特定角色的工具在上下文无关、相关和不相关的条件下仍然非常普遍,并且对语义提示重新表述具有鲁棒性。场景构图和相机取景显示出最大的环境敏感性。这些发现揭示了一种陈规定型观念的持久性,这种形式在与背景无关的评估中基本上是不可见的,这凸显了在偏见基准测试中控制背景变化的必要性。代码和数据集:https://huggingface.co/datasets/shaghayegh/ContextBias,https://github.com/Sina-Emami/ContextBias