论文

从艺术史到文本到图像生成的性别文物

Gender Artifacts from Art History to Text-to-Image Generation

模型评测基准与评测资源

摘要

艺术风格植根于特定的社会历史背景,这些背景编码了社会等级制度,包括不同的性别结构。然而在人工智能研究中,风格长期以来被视为一种表面级的视觉属性:应用于其他内容中立场景的颜色、笔触和纹理的过滤器。我们引入第一个数据集来研究历史图像和生成图像中性别表征和风格之间的相互作用。 StyleGender 包含涵盖 19 种艺术风格的 74k 图像,其中包括带有风格和性别注释的艺术历史图像、在受控风格和性别提示下 T2I 生成的图像,以及能够直接进行艺术史与世代比较的语义对齐集。通过提出两个集合性别伪影 (SGA) 指标(PixelSGA 和 MaskSGA),在像素级别和构图结构中捕获性别信号,我们表明:(1) 性别表征塑造了跨艺术风格的视觉特征,(2) 风格关键词将这些模式带入 T2I 生成中,(3) 生成模型往往会放大性别伪影,超出历史来源中观察到的范围。