论文

超越轮椅和眼罩:使用 INCLUDE-BENCH 研究 T2I 模型中的残疾刻板印象

Beyond wheelchairs and blindfolds: Investigating disability stereotypes in T2I models with INCLUDE-BENCH

模型评测基准与评测资源

摘要

文本到图像(T2I)模型已被证明表现出社会偏见。之前的工作主要集中在受限职业协会内的性别、肤色和文化代表性,而新兴的基准越来越多地纳入这些维度。然而,对残疾问题的系统性探索仍然不足。当前的评估实践往往无法与基于社会学的刻板印象定义保持一致,从而限制了对残疾人(PWD)代表性伤害的原则性评估。为了解决这个问题,我们引入了 INCLUDE-BENCH,这是第一个用于评估 T2I 模型中与残疾相关的偏差的大规模基准。 INCLUDE-BENCH 包含 119K 生成的图像,这些图像基于跨多个偏差维度以及静态和动态上下文的提示设计。我们评估了 15 个开源模型和 2 个闭源模型。我们的主要发现表明:(1)行动障碍和默认残疾提示在所有模型中主要产生轮椅描述; (2) 残疾一代始终表现出较少的多样性; (3) 刻板印象表现出更强的残疾与文本一致性; (4) 我们引入了刻板印象内容模型 (SCM) 评分,证明 T2I 模型反映了现实世界的刻板印象关联。